100% der Anrufe analysieren: was die Statistik sagt, und was es wirklich kostet

Die 100% sind ein Argument, selten eine Rechnung

Die meisten Seiten über Speech Analytics folgen demselben Aufbau. Sie beschreiben den Übergang vom stichprobenartigen Anhören zur automatischen Analyse aller Gespräche, stellen ihn als den wichtigsten Nutzen dar und gehen dann zu den Funktionen über. Nur wenige zeigen mit Zahlen, warum die Stichprobe nicht ausreicht.

Dabei liegt die Rechnung in Reichweite jedes Qualitätsverantwortlichen. Sie sagt zwei Dinge, die das Verkaufsargument verschweigt: Die übliche Stichprobe misst noch weniger, als man glaubt, und die Analyse aller Gespräche löst nicht alle Probleme. Wir stellen sie hier an einem typischen Fall auf, demselben im gesamten Artikel:

• ein Contact Center, das 20.000 Anrufe pro Monat bearbeitet;
• 50 Berater in fünf Teams zu je zehn, also etwa 400 Anrufe pro Berater und 4.000 pro Team;
• ein Qualitätsteam, das drei Anrufe pro Berater und Monat anhört, also 30 Anrufe pro Team und 150 für das gesamte Center;
• ein genau verfolgtes Compliance-Kriterium: die Information des Kunden über die Aufzeichnung des Anrufs.

Diese Volumen sind die vieler Center. Wenn Ihre davon abweichen, liefern die folgenden Tabellen die Größenordnungen für andere Stichprobengrößen.

Die Rechnung: was 30 Anrufe messen

Im vergangenen Monat enthielten von den 30 angehörten Anrufen eines Teams 24 die Information über die Aufzeichnung. Gemessene Quote: 80%.

Diese Zahl ist nicht die Quote des Teams. Sie ist eine Schätzung, und ihre Genauigkeit lässt sich berechnen. Mit 95% Sicherheit liegt die wahre Quote, also die, die man beim Anhören aller 4.000 Anrufe des Teams erhalten würde, zwischen 63% und 91%. Eine Spanne von 28 Punkten, für einen Indikator, den man anschließend auf den Punkt genau kommentiert.

Zwei Anmerkungen verändern die Lesart dieser Tabelle.

Die Größe des Centers spielt fast keine Rolle. Die Genauigkeit hängt von der Zahl der bewerteten Anrufe ab, nicht von der Zahl der bearbeiteten Anrufe. Dreißig Anrufe messen ein Team mit 4.000 Anrufen genauso schlecht wie ein Center mit 200.000.

Die individuelle Verfolgung hat keine statistische Grundlage. Drei Anhörungen pro Monat ordnen vor allem den Zufall: Ein Berater mit 2 von 3 und ein Kollege mit 3 von 3 lassen sich nicht unterscheiden. Selbst über ein Jahr kumuliert lassen 36 Anhörungen eine Spanne von 25 Punkten, vorausgesetzt, die Praxis des Beraters hat sich in zwölf Monaten nicht verändert.

Ab welcher Abweichung ist ein Maßnahmenplan begründet?

Im folgenden Monat kommt das Team auf 21 von 30, also 70%. Zehn Punkte weniger: Der Supervisor erinnert an die Vorgabe, das Qualitätsgremium verlangt einen Maßnahmenplan.

Der passende Test für den Vergleich zweier kleiner Stichproben, der exakte Test nach Fisher, ergibt eine Wahrscheinlichkeit von 0,55. Anders gesagt: Hätte sich im Team nichts verändert, würde man eine mindestens ebenso große Abweichung in mehr als der Hälfte der Fälle beobachten, allein durch den Zufall der Ziehung. Der Maßnahmenplan reagiert auf Rauschen.

Damit der Rückgang auf dem üblichen Signifikanzniveau von 5% signifikant ist, müsste das Team von 24 auf 15 konforme Anrufe von 30 fallen, also von 80% auf 50%. Mit 30 Anrufen pro Zeitraum werden nur massive Verschlechterungen sichtbar.

Die Frage stellt sich auch umgekehrt: Wie viele Anrufe muss man in jedem Zeitraum bewerten, um gute Chancen zu haben, nämlich vier von fünf, einen Rückgang zu erkennen, der tatsächlich besteht?

Zweiseitiger Test auf dem Signifikanzniveau von 5%, Teststärke von 80%, Normalapproximation.

Mit 30 Anrufen pro Zeitraum werden nur Katastrophen sichtbar. Die Abweichungen von wenigen Punkten, die die meisten Qualitätsgremien kommentieren, sind bei diesen Volumen nicht vom Zufall zu unterscheiden. Das ist keine Kritik an den Qualitätsteams: Es ist die Grenze des Werkzeugs, das man ihnen gegeben hat.

Die praktische Regel, die sich daraus ergibt, passt in eine Frage. Bevor Sie wegen einer Schwankung einen Maßnahmenplan anstoßen, fragen Sie, auf wie vielen Anrufen jede der beiden verglichenen Zahlen beruht. Selbst mit rund hundert Anrufen pro Zeitraum lässt eine Abweichung von weniger als 14 Punkten keinen Schluss zu.

Seltene Fehler: was die Stichprobe nicht sieht

Die durchschnittliche Quote ist nicht immer die richtige Frage. In der Compliance lautet die Frage oft: Kommt es vor, und wo? Ein Werbeanruf ohne Einholung der Einwilligung, ein Vertragsabschluss, bei dem die Beratungspflicht im Gespräch nicht erkennbar ist, eine ausgelassene Pflichtangabe.

Nehmen wir einen Verstoß an, der in 1% der Anrufe vorkommt, also in 40 Anrufen pro Monat in einem Team und in 200 im Center.

• In den 30 angehörten Anrufen eines Teams liegt die Wahrscheinlichkeit, keinen einzigen zu finden, bei 74%. In drei von vier Monaten kommt das Team zu dem Schluss, dass alles in Ordnung ist.
• In den 150 angehörten Anrufen für das gesamte Center liegt diese Wahrscheinlichkeit noch bei 22%, also in mehr als einem von fünf Monaten.

Und wenn die Stichprobe nichts findet, beweist sie nicht viel. Null Verstöße bei 150 Anrufen sind mit 95% Sicherheit noch mit einer tatsächlichen Quote von bis zu 2% vereinbar, also mit 400 nicht konformen Anrufen pro Monat bei 20.000. Null bei den 30 Anrufen eines Teams ist mit einer Quote von bis zu 9,5% vereinbar, also mit fast 400 der 4.000 Anrufe des Teams. Statistiker nennen das die Dreierregel: Wird bei n Anrufen kein Fall beobachtet, kann die tatsächliche Quote etwa 3 / n erreichen.

Wenn die Stichprobe einen Fall findet, sagt sie nicht, wo die anderen sind. Einen Verstoß in einem angehörten Anruf festzustellen heißt zu erfahren, dass es wahrscheinlich Dutzende gibt, ohne zu wissen, welche. Um einen Verstoß zu beheben, die betroffenen Kunden zurückzurufen oder auf eine Prüfung zu antworten, braucht man genau diese Anrufe, keine Schätzung ihrer Zahl.

Für einen Durchschnitt genügen 400 Anrufe: Die 100%-Analyse dient etwas anderem

Es wäre unredlich, hier aufzuhören. Ist die einzige Frage das durchschnittliche Niveau eines Kriteriums im gesamten Center, genügt eine gut aufgebaute Stichprobe: 400 zufällig gezogene Anrufe liefern die Quote auf 4 Punkte genau, 1.000 Anrufe auf 2,5 Punkte genau. Alle 20.000 anzuhören, brächte für genau diese Frage fast nichts.

Unter zwei Bedingungen, die heutige Verfahren selten erfüllen:

• Das Volumen. Bei 15 bis 20 Minuten pro Bewertung beschäftigen 400 Anhörungen pro Monat ungefähr einen Bewerter in Vollzeit, für einen einzigen Indikator des Centers.
• Der Zufall. Eine ausgewählte Stichprobe ist keine Zufallsstichprobe. Die angehörten Anrufe sind oft die, die einem Supervisor aufgefallen sind, die aus einem bequemen Zeitfenster, die, zu denen es eine Beschwerde gab, oder die eines Beraters, den man hervorheben möchte. Diese Selektionsverzerrung lässt sich nicht durch mehr Anhören korrigieren: 400 schlecht ausgewählte Anrufe ergeben eine falsche Schätzung mit großer Genauigkeit.

Die 100%-Analyse dient also nicht in erster Linie dazu, einen Durchschnitt besser zu schätzen. Sie dient vier Dingen, die keine vernünftige Stichprobe ermöglicht.

1. Jeden Berater messen. Mit jeweils 400 Anrufen kennt man die Quote eines Beraters jeden Monat auf 4 Punkte genau, statt einer Spanne von 70 Punkten. Der Debrief stützt sich dann auf belegte Fakten, mit Gesprächsstellen als Beleg, und nicht auf drei zufällig gezogene Anrufe.
2. Jeden seltenen Fehler finden, statt seine Häufigkeit zu schätzen.
3. Segmente vergleichen. Ein Anrufgrund, ein Standort, ein Dienstleister, ein Zeitfenster, eine Kampagne: Jede Kreuzung erfordert Hunderte von Anrufen. Dreißig Anrufe, verteilt auf fünf Anrufgründe, lassen sechs pro Feld.
4. Die Anrufe wiederfinden, bei denen gehandelt werden muss. Eine Schätzung sagt: „etwa 2% der Vertragsabschlüsse ohne Information über das Widerrufsrecht“. Die Analyse aller Anrufe liefert die Liste der betroffenen Gespräche, mit der fraglichen Gesprächsstelle.

Dazu kommt die Erklärung. Ein Verhalten des Beraters mit einem seltenen Ergebnis zu verknüpfen, etwa einer Beschwerde oder einem verlorenen Verkauf, erfordert Hunderte von Gesprächen, die mit demselben Raster bewertet wurden. Das ist die Aufgabe der Seite „Mechanik“ im Steuerungsbericht, die die Quote eines Ergebnisses danach vergleicht, ob das Verhalten vorhanden ist oder fehlt, bei gleicher Note.

Was die 100%-Analyse nicht löst

Der Messfehler ersetzt den Stichprobenfehler

Bei 20.000 Anrufen schrumpft das Konfidenzintervall auf einen Punkt. Es misst aber nur den Fehler, der durch die Ziehung entsteht. Die andere Fehlerquelle, die des Messinstruments, bleibt vollständig bestehen: Eine automatische Analyse kann sich bei einem Kriterium irren, und dieser Fehler sinkt nicht mit dem Volumen. Erkennt die Analyse die Information über die Aufzeichnung in 5% der Anrufe nicht, in denen sie gegeben wurde, zeigt sie eine Quote von 76% statt 80% an, mit einer Genauigkeit von einem Punkt. Eine sehr genaue Messung eines falsch verstandenen Kriteriums bleibt falsch.

Menschliche Bewerter entgehen diesem Problem nicht. Zwei Bewerter, die denselben Anruf anhören, kommen nicht immer zum selben Urteil, und Contact Center nennen die Arbeit, diese Abweichung zu verringern, Kalibrierung. Der Fehler eines Bewerters betrifft aber nur die wenigen Anrufe, die er anhört, während der Fehler einer automatischen Analyse für alle gilt.

Daraus folgt etwas wenig Intuitives: Die Stichprobe verschwindet mit der 100%-Analyse nicht, sie wechselt ihre Rolle. Sie dient nicht mehr dazu, die Qualität der Berater zu schätzen, sondern dazu, die Messung zu kontrollieren. Eine doppelte menschliche Prüfung einer Zufallsstichprobe von Urteilen, Kriterium für Kriterium, zeigt, wo sich die Analyse irrt und in welche Richtung. Die Größenordnungen der ersten Tabelle gelten: Etwa 140 nachgeprüfte Urteile genügen, um eine Übereinstimmungsquote von 90% auf 5 Punkte genau zu schätzen.

In Raisetalk wird jedes Urteil mit seiner Begründung und den Gesprächsstellen geliefert, auf die es sich stützt, was die Nachprüfung beschleunigt. Eine von einer Führungskraft geänderte Bewertung behält die Lesart der KI neben der menschlichen Entscheidung, und der Berater kann ein Kriterium anfechten: Die Unstimmigkeiten bleiben sichtbar, Kriterium für Kriterium. Das vollständige Kalibrierungsprotokoll beschreibt unsere Methode, um das Quality Monitoring auf 100% der Anrufe auszuweiten.

Das Volumen der Meldungen

Zweiter Effekt der 100%-Analyse, unmittelbarer: Alles, was unsichtbar war, wird sichtbar, und zwar gleichzeitig. Bei 20.000 Anrufen erzeugt ein Kriterium, das in 5% der Fälle nicht erfüllt ist, 1.000 Vorkommnisse pro Monat, rund fünfzig pro Arbeitstag. Für ein einziges Kriterium. Löst jedes davon eine E-Mail aus, liest sie nach einer Woche niemand mehr, und das Verfahren landet, nur teurer, wieder bei der Blindheit der Stichprobe. In der Compliance ist die Lage noch schlimmer: Ein erkannter, dann aber nicht weiterverfolgter Verstoß lässt sich bei einer Prüfung kaum rechtfertigen.

Sortiert wird nach einer einzigen Frage: Wer kann handeln, woran, und in welcher Frist? Sie trennt drei Meldewege.

• Was eine Maßnahme am Anruf selbst erfordert: ein schwerer Compliance-Verstoß, eine Kündigungsdrohung, eine förmliche Beschwerde. Sofortige Meldung, Anruf für Anruf, an eine Person, die noch am selben Tag handeln kann.
• Was eine Maßnahme an der Praxis eines Beraters oder eines Teams erfordert: ein wiederholt nicht erfülltes Kriterium. Keine Meldung pro Anruf, sondern eine Quote über den Zeitraum, die im Debrief behandelt wird.
• Was eine Maßnahme am Prozess erfordert: ein zunehmender Anrufgrund, ein überall fehlendes Verhalten, ein Skript, das nicht funktioniert. Ein aggregierter, geordneter Befund, der der Geschäftsleitung vorgelegt wird.

Eine Meldung Anruf für Anruf ist nur gerechtfertigt, wenn jemand schnell bei genau diesem Anruf handeln kann. Alles andere liest man als Quote. In Raisetalk wird die Versandart Regel für Regel gewählt, per E-Mail oder als einfache Benachrichtigung in der Anwendung, einsehbar auf der Seite Meine Meldungen. Der Steuerungsbericht wiederum ordnet seine Befunde nach der beobachteten Abweichung, der Schwere des Kriteriums und der Zahl der Gespräche, auf der ein Befund beruht, damit das Schwerwiegende und das Massenhafte vor dem Anekdotischen kommen.

Die tatsächlichen Kosten: pro bewertetem Gespräch, nicht pro Arbeitsplatz

Bleibt die Frage, die oft alles entscheidet. Zwei Preislogiken bestehen auf diesem Markt nebeneinander:

• pro Arbeitsplatz: ein Preis pro Nutzer und Monat, unabhängig vom Volumen. Die Kosten folgen der Belegschaft, nicht der Aktivität;
• nutzungsbasiert: ein Preis pro Minute analysierter Konversation. Die Kosten folgen dem Volumen.

Für den Vergleich funktioniert nur eine Einheit: die Kosten pro tatsächlich bewertetem Gespräch, wie es unser Raster zur Auswahl einer Lösung empfiehlt.

Bei einer Lizenz pro Arbeitsplatz erhält man diese Kosten, indem man den Monatspreis des Arbeitsplatzes durch die Zahl der Gespräche des Beraters teilt. Derselbe Preis pro Arbeitsplatz ergibt so für einen Berater, der 150 Anrufe pro Monat bearbeitet, dreimal so hohe Kosten pro Gespräch wie für einen Kollegen, der 450 bearbeitet. Für den Vergleich mit einem Minutenangebot teilen Sie den Preis des Arbeitsplatzes durch die monatlichen Gesprächsminuten des Beraters: Sie erhalten den entsprechenden Minutenpreis.

Bei nutzungsbasierter Abrechnung erhält man diese Kosten, indem man die durchschnittliche Dauer eines Anrufs mit dem Minutenpreis multipliziert. Raisetalk berechnet ab 0,10 € pro Minute analysierter Konversation, ohne Lizenz, ohne Einrichtungsgebühren und ohne Laufzeitbindung, mit Paketen ab einem bestimmten monatlichen Volumen. Zum Einstiegspreis kostet ein Anruf von 5 Minuten 0,50 €.

Dem gegenüber steht die manuelle Bewertung. Einen Anruf von 5 Minuten zu bewerten heißt, ihn vollständig anzuhören, strittige Stellen erneut anzuhören, das Raster auszufüllen und einen Kommentar zu verfassen: Rechnen wir mit 15 bis 20 Minuten. Bei Vollkosten von 30 € pro Stunde, eine Annahme, die Sie durch Ihre eigene ersetzen sollten, kostet eine manuelle Bewertung 7,50 € bis 10 €.

Zwei Präzisierungen, damit der Vergleich redlich bleibt.

• Die 100%-Analyse schafft die menschliche Arbeit nicht ab, sie verlagert sie. Kalibrierung der Messung, Bearbeitung der Meldungen, Debriefs, Entscheidung über Anfechtungen: Die Zeit des Qualitätsteams verlagert sich vom Anhören zum Handeln. Die Tabelle vergleicht Bewertungskosten, keine Personalstärken.
• Nicht alle Minuten müssen analysiert werden. Mailboxen, Anrufe von wenigen Sekunden, interne Weiterleitungen, Testleitungen: Die Telefonie-Konnektoren von Raisetalk, etwa Aircall oder Ringover, ermöglichen es, eine Mindestdauer festzulegen, die Anrufrichtung zu wählen und Leitungen oder Nutzer auszuschließen. Die Rechnung folgt dem, was Sie analysieren lassen.

Von der Stichprobe zur 100%-Analyse

Die Rechnung sagt, warum die Stichprobe nicht ausreicht. Sie sagt nicht, wie man auf sie verzichtet, ohne in die beiden oben beschriebenen Fallen zu geraten: die schlecht kalibrierte Messung und die Flut von Meldungen. Festlegen, was man misst, das Raster umschreiben, kalibrieren, die Meldungen priorisieren, budgetieren, das Qualitätsteam neu ausrichten: Die sechs Schritte beschreibt im Detail unsere Methode, um das Quality Monitoring auf 100% der Anrufe auszuweiten.

Häufig gestellte Fragen

Wie viele Anrufe muss man anhören, um die Qualität eines Contact Centers zu messen?

Das hängt von der angestrebten Ebene und Genauigkeit ab. Für eine durchschnittliche Quote auf Ebene des Centers liefern 250 bis 400 zufällig gezogene Anrufe eine Genauigkeit von 4 bis 5 Punkten. Um einen Rückgang von 10 Punkten von einem Monat zum nächsten zu erkennen, braucht es fast 300 bewertete Anrufe pro Zeitraum. Um jeden Berater zu verfolgen, reicht kein manuelles Anhören aus: Bei drei Anrufen pro Monat umfasst das Konfidenzintervall mehr als 70 Punkte.

Warum 100% der Anrufe analysieren statt einer Stichprobe?

Nicht, um einen Durchschnitt besser zu schätzen, den eine Zufallsstichprobe von 400 Anrufen bereits korrekt misst. Die 100%-Analyse dient dazu, jeden Berater auf solider Grundlage zu messen, seltene Fehler zu finden, Segmente wie Anrufgründe oder Standorte zu vergleichen und vor allem die betroffenen Anrufe wiederzufinden, um zu handeln.

Ist die automatische Analyse aller Anrufe zuverlässig?

Sie beseitigt den Stichprobenfehler, nicht den Messfehler. Eine automatische Analyse kann sich bei einem Kriterium irren, und dieser Fehler gilt für alle Anrufe. Sie muss daher kalibriert werden: eine Zufallsstichprobe von Urteilen von menschlichen Bewertern nachprüfen lassen, Kriterium für Kriterium, und die Kriterien umschreiben, bei denen sie abweicht. Ein Urteil mit seiner Begründung und den betreffenden Gesprächsstellen lässt sich in wenigen Sekunden überprüfen.

Was kostet die Analyse von 100% der Anrufe?

Bei nutzungsbasierter Abrechnung sind die Kosten die Zahl der analysierten Minuten multipliziert mit dem Minutenpreis. Raisetalk berechnet ab 0,10 € pro Minute analysierter Konversation, also 0,50 € für einen Anruf von 5 Minuten zum Einstiegspreis, ohne Lizenz und ohne Laufzeitbindung. Eine manuelle Bewertung desselben Anrufs kostet in der Größenordnung von 7,50 € bis 10 € an Bewerterzeit.

Wie vermeidet man, von Meldungen überflutet zu werden?

Indem man die Meldung Anruf für Anruf dem vorbehält, was eine Maßnahme am Anruf selbst erfordert, und zwar noch am selben Tag: einen schweren Verstoß, eine Kündigungsdrohung, eine Beschwerde. Wiederholt nicht erfüllte Kriterien liest man als Quote pro Berater und pro Team, Prozessprobleme in einem aggregierten Bericht. Zählen Sie vor dem Aktivieren einer Regel, wie viele Anrufe des Vormonats sie ausgelöst hätten.

Für den Anfang

Ihre Stichprobe liefert Ihnen eine Schätzung. Um zu erfahren, was in all Ihren Anrufen geschieht, testen Sie Raisetalk mit Ihren eigenen Gesprächen.