Das Wichtigste zur Ausweitung des Quality Monitoring auf 100% der Anrufe
- Der Übergang vom stichprobenartigen Anhören zur Analyse aller Anrufe ändert die Methode, nicht nur das Werkzeug. Was selten war, wird massenhaft, was geschätzt wurde, wird gezählt, und ein Raster, das für das Ohr eines Bewerters gedacht ist, lässt sich nicht unverändert von einer Maschine lesen.
- Sechs Schritte: festlegen, was Sie messen und auf welcher Ebene, das Raster für eine automatische Auswertung umschreiben, die Analyse an Ihren Bewertern kalibrieren, priorisieren, bevor Sie die Meldungen aktivieren, pro Minute budgetieren, das Qualitätsteam neu ausrichten.
- Die Kalibrierung ist der Schritt, der am häufigsten übersprungen wird. Etwa 140 nachgeprüfte Urteile genügen, um die Übereinstimmung zwischen der Analyse und Ihren Bewertern bei einem Kriterium auf 5 Punkte genau zu schätzen. Der richtige Maßstab ist nicht 100% Übereinstimmung, sondern die Übereinstimmung Ihrer Bewerter untereinander.
- Eine Meldung Anruf für Anruf ist nur gerechtfertigt, wenn jemand noch am selben Tag bei diesem Anruf handeln kann. Alles andere liest man als Quote, im Debrief oder in einem Bericht.
- Das Qualitätsteam verschwindet nicht. Seine Zeit verlagert sich vom Anhören zur Kalibrierung, zum Debrief und zum Handeln, und die Berater müssen wissen, was gemessen wird und wie sie es anfechten können.
Ein Wechsel der Methode, nicht nur des Werkzeugs
Drei Anrufe pro Berater und Monat anzuhören, misst fast nichts. Bei 30 Anrufen hat eine Compliance-Quote von 80% ein Konfidenzintervall von 63% bis 91%, eine Abweichung von zehn Punkten von einem Monat zum nächsten tritt in mehr als der Hälfte der Fälle auf, selbst wenn sich nichts verändert hat, und ein Verstoß, der in 1% der Anrufe vorkommt, bleibt in drei von vier Monaten unbemerkt. Die Einzelheiten dieser Rechnungen und dessen, was die Alternative kostet, stehen in unserem Artikel 100% der Anrufe analysieren: was die Statistik sagt, und was es wirklich kostet.
Die automatische Analyse aller Gespräche hebt diese Grenze auf. Doch eine Analyse an ein Raster anzuschließen, das für das Anhören konzipiert wurde, und Meldungen an alle seine Kriterien, schafft andere Probleme: Kriterien, die die Maschine schlecht liest, Noten, die die Berater anfechten, Hunderte von Meldungen, die niemand bearbeitet. Die folgenden sechs Schritte sollen sie vermeiden.
| Schritt | Die zu entscheidende Frage | Was dabei herauskommt |
|---|---|---|
| 1. Festlegen, was Sie messen | Auf welcher Ebene braucht es eine verlässliche Zahl? | Die Liste der Indikatoren, mit ihrer Ebene und der Entscheidung, der sie dienen |
| 2. Das Raster umschreiben | Lässt sich jedes Kriterium anhand dessen entscheiden, was gesagt wurde? | Ein Raster aus beobachtbaren Kriterien |
| 3. Die Messung kalibrieren | Urteilt die Analyse wie Ihre Bewerter? | Eine Übereinstimmungsquote pro Kriterium und eine Entscheidung pro Kriterium |
| 4. Die Meldungen priorisieren | Wer handelt, woran, in welcher Frist? | Drei Meldewege: der Anruf, die Person, der Prozess |
| 5. Pro Minute budgetieren | Welche Minuten müssen wirklich analysiert werden? | Ein Bereich, ein Volumen, Kosten pro Gespräch |
| 6. Das Qualitätsteam neu ausrichten | Was wird aus der Zeit, die mit Anhören verbracht wurde? | Ein neuer Arbeitsrhythmus, den die Berater kennen |
Schritt 1: festlegen, was Sie messen, und auf welcher Ebene
Bevor Sie das Werkzeug anfassen, listen Sie auf, was Sie wissen wollen, und für jeden Indikator die Ebene, auf der er verlässlich sein muss: das Center, das Team, der Berater, das Segment oder der Anruf selbst. Diese Ebene entscheidet, ob die 100%-Analyse nötig ist.
| Was Sie wissen wollen | Ebene | Was bewertet werden muss |
|---|---|---|
| Verbessert sich unsere durchschnittliche Compliance-Quote? | Das Center | Eine Zufallsstichprobe von 400 Anrufen kann genügen |
| Welche Berater sollten vorrangig begleitet werden? | Der Berater | Alle seine Anrufe |
| Welcher Anrufgrund bündelt die Beschwerden? | Das Segment | Alle Anrufe zu diesem Grund |
| Welche Kunden müssen zurückgerufen werden, um einen Verstoß zu beheben? | Der Anruf | Alle Anrufe |
Notieren Sie für jede Zeile die Entscheidung, der der Indikator dienen soll: schulen, begleiten, ein Skript korrigieren, einen Verstoß beheben, die Geschäftsleitung alarmieren. Ein Indikator, der keiner Entscheidung dient, hat im Raster nichts zu suchen, und er wird Meldungen erzeugen, die niemand liest.
Schritt 2: das Raster für eine automatische Auswertung umschreiben
Ein für das Anhören konzipiertes Raster verlässt sich auf das Urteil des Bewerters. „Hat Empathie gezeigt“, „gute Beherrschung des Angebots“, „flüssige Gesprächsführung“: Zwei Bewerter beantworten das schon nicht immer gleich, und eine automatische Analyse hat im Transkript nichts Genaues, wonach sie suchen könnte. Jedes Kriterium muss sich anhand dessen entscheiden lassen, was gesagt wurde.
| Kriterium für das Anhören | Für eine automatische Auswertung umgeschriebenes Kriterium |
|---|---|
| Der Berater zeigt Empathie. | Wenn der Kunde eine konkrete Folge des Problems für sich schildert, berücksichtigt der Berater sie in der Lösung, die er vorschlägt. |
| Gute Beherrschung des Angebots. | Der Kunde stellt eine Frage zum Angebot, auf die der Berater keine Antwort gibt. |
| Einhaltung der Pflichtangaben. | Der Berater informiert den Kunden darüber, dass der Anruf aufgezeichnet wird, bevor er auf das Anliegen des Anrufs eingeht. |
Vier Regeln genügen in den meisten Fällen:
- ein einziges Thema pro Kriterium, damit ein Urteil „nicht erfüllt“ genau sagt, was gefehlt hat;
- eine im Gespräch beobachtbare Tatsache, kein Eindruck und kein innerer Zustand, der dem Berater oder dem Kunden zugeschrieben wird;
- eine ausdrückliche Bedingung, wenn die Situation nicht systematisch eintritt: Ein Kriterium, das mit „Wenn“, „Sobald“ oder „Falls“ beginnt, ergibt N/A, wenn die Situation nicht eintritt, statt den Anruf zu bestrafen;
- die Compliance getrennt von den Ritualen, und die Ergebnisse des Anrufs außerhalb der Note verfolgt.
Diese Regeln werden in unserem Artikel über prozess- oder beziehungsorientiertes Quality Monitoring ausgeführt. In Raisetalk behält ein Kriterium, das weder Punkte gibt noch abzieht, sein Urteil, ohne die Note zu berühren: Es bleibt filterbar, fließt ins Reporting ein und kann eine Meldung auslösen.
Schritt 3: die Messung kalibrieren, bevor eine Note veröffentlicht wird
Das ist der am häufigsten übersprungene Schritt, und der, dessen Nachholen am meisten kostet. Eine automatische Analyse kann sich bei einem Kriterium irren, und ihr Fehler gilt für alle Anrufe. Bei 20.000 Anrufen ergibt ein falsch verstandenes Kriterium eine falsche Quote mit einer Genauigkeit von einem Punkt. Und eine individuelle Note, die veröffentlicht wird, bevor sie geprüft wurde, wird angefochten, zu Recht, und verliert dann dauerhaft an Glaubwürdigkeit.
Die Kalibrierung besteht darin, die Analyse Kriterium für Kriterium mit Ihren Bewertern abzugleichen, auf einer zufällig gezogenen Stichprobe. Die Stichprobe verschwindet mit der 100%-Analyse nicht: Sie wechselt ihre Rolle. Sie dient nicht mehr dazu, die Qualität der Berater zu schätzen, sondern dazu, die Messung zu kontrollieren.
Das Protokoll
- Ziehen Sie zufällig bereits analysierte Anrufe. Zufällig, nicht aus den gemeldeten oder angefochtenen Anrufen: Sonst messen Sie die Analyse an ihren schwierigsten Fällen und halten sie für schlechter, als sie ist.
- Lassen Sie sie von zwei Bewertern blind bewerten. Keiner von beiden sieht das Urteil der Analyse oder das seines Kollegen.
- Vergleichen Sie, Kriterium für Kriterium: die Übereinstimmung der beiden Bewerter untereinander, dann die Übereinstimmung der Analyse mit jedem von ihnen.
- Lesen Sie die Richtung der Unstimmigkeiten. Eine Analyse, die strenger oder nachsichtiger ist als Ihre Bewerter, verschiebt alle Quoten in dieselbe Richtung. Verstreute Unstimmigkeiten in beide Richtungen verfälschen die Quoten wenig, belasten aber die individuellen Noten.
- Entscheiden Sie Kriterium für Kriterium: Freigabe, Neufassung oder manuelle Bewertung.
- Wiederholen Sie das jeden Monat auf einer kleinen Stichprobe und bei jeder Änderung des Rasters.
Wie viele Urteile nachprüfen
| Erwartete Übereinstimmung | Angestrebte Genauigkeit | Nachzuprüfende Urteile, pro Kriterium |
|---|---|---|
| 90% | 5 Punkte | etwa 140 |
| 90% | 3 Punkte | etwa 390 |
| 95% | 3 Punkte | etwa 200 |
Bei einem bedingten Kriterium zählen nur die Anrufe, in denen die Situation eingetreten ist. Ein Kriterium, das auf einen von fünf Anrufen zutrifft, erfordert also, etwa 700 Anrufe zu ziehen, um 140 verwertbare Urteile zu erhalten.
Der richtige Schwellenwert ist nicht 100%
Der Maßstab ist nicht die perfekte Übereinstimmung, die auch Ihre Bewerter untereinander nicht erreichen. Stimmt die Analyse mit jedem Ihrer Bewerter so oft überein wie diese untereinander, beurteilt sie dieses Kriterium mindestens so beständig wie Ihr Team, und sie tut es bei allen Anrufen.
Misstrauen Sie der rohen Übereinstimmungsquote bei Kriterien, die fast immer erfüllt sind. Ist ein Kriterium in 98% der Anrufe erfüllt, würde eine Analyse, die jedes Mal „erfüllt“ antwortet, in 98 von 100 Fällen mit Ihren Bewertern übereinstimmen, ohne irgendetwas zu erkennen. Betrachten Sie lieber die Minderheitsfälle: Wie viele der Anrufe, die Ihre Bewerter als nicht erfüllt beurteilen, hat die Analyse ebenfalls erkannt? Statistiker korrigieren diese Verzerrung mit Cohens Kappa, das die zufallsbedingte Übereinstimmung herausrechnet.
Was Sie für jedes Kriterium entscheiden
- Freigabe, wenn die Übereinstimmung auf dem Niveau der Übereinstimmung Ihrer Bewerter liegt, ohne deutliche Verzerrung in eine Richtung.
- Neufassung, wenn sich die Unstimmigkeiten auf eine mehrdeutige Formulierung konzentrieren: zwei Gedanken in demselben Kriterium, ein Wort, das jeder anders versteht, eine unausgesprochene Bedingung. Bevor Sie die neue Fassung einsetzen, lassen Sie sie über bereits bewertete Anrufe laufen, mit der Neubewertung mit einem anderen Raster.
- Manuelle Bewertung, wenn das Kriterium eine Information erfordert, die im Gespräch fehlt, oder ein Urteil, das Sie in menschlicher Hand behalten wollen. Ein Kriterium kann der manuellen Bewertung vorbehalten werden, neben der automatischen Analyse: Das ist das Prinzip der hybriden Analyse.
In Raisetalk wird jedes Urteil mit seiner Begründung und den Gesprächsstellen geliefert, auf die es sich stützt: Ein Bewerter prüft ein Urteil in wenigen Sekunden, statt den Anruf erneut anzuhören. Sobald das Raster im Einsatz ist, behält eine von einer Führungskraft geänderte Bewertung die Lesart der KI neben der menschlichen Entscheidung, und jede Anfechtung eines Kriteriums durch einen Berater wird nachverfolgt. Die Kriterien, die in diesen Korrekturen häufig wiederkehren, sind als erste neu zu kalibrieren.
Schritt 4: priorisieren, bevor die Meldungen eingeschaltet werden
Die 100%-Analyse macht auf einen Schlag alles sichtbar, was unsichtbar war. Bei 20.000 Anrufen pro Monat erzeugt ein Kriterium, das in 5% der Fälle nicht erfüllt ist, rund fünfzig Vorkommnisse pro Arbeitstag. Löst jedes davon eine E-Mail aus, liest sie nach einer Woche niemand mehr.
Die Regel, die vor dem Aktivieren der kleinsten Meldung festzulegen ist: Eine Meldung Anruf für Anruf ist nur gerechtfertigt, wenn jemand bei genau diesem Anruf noch am selben Tag handeln kann. Alles andere liest man als Quote.
| Meldeweg | Was ihn auslöst | Form | Empfänger und Frist |
|---|---|---|---|
| Der Anruf | Schwerer Compliance-Verstoß, Kündigungsdrohung, förmliche Beschwerde | Sofortige Meldung, per E-Mail | Eine namentlich benannte Person, die noch am selben Tag handelt |
| Die Person | Von einem Berater oder einem Team wiederholt nicht erfülltes Kriterium | Quote über den Zeitraum, Benachrichtigungen, die im eigenen Rhythmus eingesehen werden | Die Führungskraft, beim nächsten Debrief |
| Der Prozess | Zunehmender Anrufgrund, überall fehlendes Verhalten, Skript, das nicht funktioniert | Aggregierter und geordneter Befund | Die Geschäftsleitung, im Monatsbericht |
Drei Praktiken verhindern die Flut:
- Zählen vor dem Aktivieren. Filtern Sie die Gespräche des Vormonats nach dem betreffenden Kriterium: Ihre Zahl ist das Meldungsvolumen, das die Regel erzeugt hätte. Übersteigt es, was der Empfänger an einem Tag bearbeiten kann, gehört die Regel in einen anderen Meldeweg.
- Mit wenigen Sofortmeldungen beginnen. Zwei oder drei E-Mail-Regeln zum Start, dem ersten Meldeweg vorbehalten. Die übrigen Regeln benachrichtigen, ohne zu unterbrechen, und Sie überprüfen das Verfahren nach einigen Wochen anhand dessen, was gelesen und bearbeitet wurde.
- Jede Regel nach dem benennen, was sie meldet. „Aufzeichnung nicht angekündigt im Vertriebsraster“ liest sich auf einen Blick, „Meldung 3“ deutlich weniger.
In Raisetalk wird die Versandart Regel für Regel gewählt: Per E-Mail benachrichtigen für das, was unterbrechen muss, In Raisetalk benachrichtigen für das, was nur gesehen werden soll, auf der Seite Meine Meldungen, die alle ausgelösten Meldungen aufbewahrt und festhält, was gelesen wurde. Diese Seite kann, wie ein Analysebericht, Gegenstand eines geplanten Versands sein: eine regelmäßige Zusammenfassung statt eines fortlaufenden Stroms. Für den dritten Meldeweg ordnet der Steuerungsbericht seine Befunde nach der beobachteten Abweichung, der Schwere des Kriteriums und der Zahl der Gespräche, auf der ein Befund beruht.
Schritt 5: pro Minute budgetieren
Bei nutzungsbasierter Abrechnung entsteht das Budget in drei Zeilen.
- Das Bruttovolumen: Zahl der Anrufe pro Monat multipliziert mit ihrer durchschnittlichen Dauer. 20.000 Anrufe von 5 Minuten ergeben 100.000 Minuten.
- Was nicht analysiert werden muss: Mailboxen, Anrufe von wenigen Sekunden, interne Weiterleitungen, Testleitungen. Die Telefonie-Konnektoren von Raisetalk, etwa Aircall oder Ringover, ermöglichen es, eine Mindestdauer festzulegen, die Anrufrichtung zu wählen und Leitungen oder Nutzer auszuschließen.
- Der Minutenpreis: Raisetalk berechnet ab 0,10 € pro Minute analysierter Konversation, ohne Lizenz und ohne Laufzeitbindung, mit Paketen ab einem bestimmten monatlichen Volumen.
Rechnen Sie die Summe anschließend auf Kosten pro bewertetem Gespräch um, die einzige Einheit, mit der sich eine nutzungsbasierte Abrechnung, eine Lizenz pro Arbeitsplatz und die Kosten des manuellen Anhörens vergleichen lassen. Bei einer Lizenz pro Arbeitsplatz teilen Sie den Monatspreis des Arbeitsplatzes durch die Gesprächsminuten des Beraters: Sie erhalten den entsprechenden Minutenpreis. Die Größenordnungen, darunter die Kosten einer manuellen Bewertung, stehen in unserer Kostenrechnung für die Analyse von 100% der Anrufe.
Beginnen Sie mit einem Bereich, nicht mit dem gesamten Center. Ein Team oder eine Anrufart, zum Beispiel Kündigungen oder Beschwerden, einen Monat lang. Der erste Monat dient dazu, zu kalibrieren und die Meldungen einzustellen: Das Budget des Pilotprojekts ist das der Minuten dieses Bereichs, und über die Ausweitung wird auf Grundlage von Zahlen entschieden.
Schritt 6: das Qualitätsteam neu ausrichten, und die Berater informieren
Die Umstellung auf die 100%-Analyse schafft die Arbeit des Qualitätsteams nicht ab, sie verändert ihre Art.
| Tätigkeit | Mit stichprobenartigem Anhören | Mit der Analyse aller Anrufe |
|---|---|---|
| Anrufe anhören und bewerten | Der Großteil der Zeit | Die monatliche Kalibrierung einer zufällig gezogenen Stichprobe |
| Die anzuhörenden Anrufe auswählen | Jede Woche | Nicht mehr nötig: Alle Anrufe werden bewertet |
| Einen Debrief vorbereiten | Auf Grundlage von drei Anrufen | Auf Grundlage aller Anrufe des Beraters, mit Gesprächsstellen als Beleg |
| Meldungen bearbeiten | Je nach Zufall der Anhörungen | Nach den Meldewegen aus Schritt 4 |
| Eine Abweichung erklären | Bei 30 Anrufen unmöglich | Anhand des Steuerungsberichts |
| Das Raster weiterentwickeln | Selten, mangels Messung | Anhand der Kalibrierung und der Anfechtungen |
Die frei gewordene Zeit fließt zuerst in den Debrief, der zum Kern der Arbeit wird: Ein Berater macht Fortschritte anhand von Beispielen aus seinen eigenen Anrufen, nicht anhand einer Note.
Bleibt, die Berater zu informieren, und das ist keine Formalität. In Frankreich dürfen keine Informationen, die einen Beschäftigten persönlich betreffen, durch eine Vorrichtung erhoben werden, die ihm nicht vorher zur Kenntnis gebracht wurde (Artikel L1222-4 des französischen Arbeitsgesetzbuchs, Code du travail), und das comité social et économique (CSE), die französische Arbeitnehmervertretung, wird vor deren Einführung über die Mittel unterrichtet und angehört, die eine Kontrolle der Tätigkeit der Beschäftigten ermöglichen (Artikel L2312-38). Über die Pflicht hinaus sind drei Dinge klar zu sagen:
- was gemessen wird: im Gespräch beobachtete Verhaltensweisen und überprüfbare Tatsachen, niemals eine Emotion oder ein innerer Zustand;
- wie man anficht: Ein Urteil wird immer mit seiner Begründung und den betreffenden Gesprächsstellen geliefert, und ein Berater kann den Wert vorschlagen, den er für richtig hält;
- wer was sieht: Die Rollen und Zugriffsrechte beschränken jeden Leser auf seinen Bereich.
Die fünf häufigsten Fehler
- Das Raster für das Anhören unverändert anschließen, ohne die Kriterien umzuschreiben, die auf dem Urteil des Bewerters beruhten.
- Individuelle Noten veröffentlichen, bevor die Analyse kalibriert wurde.
- Für jedes Kriterium eine Meldung per E-Mail aktivieren.
- Berater anhand einer Note einstufen, die auch von Dingen abhängt, die sie nicht beeinflussen, etwa vom Anrufgrund oder von einer anderswo getroffenen kaufmännischen Entscheidung.
- Das Qualitätsteam verkleinern, statt es neu auszurichten: Die Messung verschlechtert sich, sobald niemand sie mehr überprüft.
Die Schlüsselbegriffe
- Quality Monitoring auf 100% der Anrufe: automatische Bewertung aller Gespräche eines Bereichs anhand eines Kriterienrasters, als Ersatz für das stichprobenartige Anhören
- Kalibrierung: Vergleich der Urteile der automatischen Analyse mit denen menschlicher Bewerter, Kriterium für Kriterium, um zu prüfen, ob die Messung verlässlich ist, und sie zu korrigieren
- Doppelte Blindbewertung: Bewertung desselben Anrufs durch zwei Personen, die weder das Urteil der anderen noch das der Analyse sehen
- Cohens Kappa: Maß für die Übereinstimmung zwischen zwei Bewertern, das den zufallsbedingten Anteil der Übereinstimmung herausrechnet
- Bedingtes Kriterium: Kriterium, das nur gilt, wenn im Gespräch eine bestimmte Situation eintritt, und sonst N/A ergibt
- Meldeweg: Weg, den ein Befund nimmt, je nachdem, was er erfordert: eine Maßnahme am Anruf, an einer Person oder am Prozess
Häufig gestellte Fragen
Wie gelingt der Übergang vom stichprobenartigen Anhören zur Analyse von 100% der Anrufe?
In sechs Schritten: festlegen, was Sie messen und auf welcher Ebene, das Raster in beobachtbare Kriterien umschreiben, die Analyse an Ihren Bewertern kalibrieren, die Meldungen in drei Meldewege gliedern, pro Minute für einen ersten Bereich budgetieren und dann das Qualitätsteam auf Kalibrierung, Debrief und Handeln ausrichten. Informieren Sie die Berater und hören Sie in Frankreich, sofern vorhanden, das comité social et économique (CSE), die französische Arbeitnehmervertretung, vor der Einführung an.
Braucht man noch menschliche Bewerter, wenn die KI alle Anrufe analysiert?
Ja. Sie dienen nicht mehr dazu, zufällig ausgewählte Anrufe anzuhören, sondern dazu, die Messung zu prüfen, über Anfechtungen zu entscheiden, Debriefs vorzubereiten und das Raster weiterzuentwickeln. Ohne regelmäßige Kalibrierung kann eine automatische Analyse bei einem Kriterium abdriften, ohne dass es jemand bemerkt.
Wie viele Anrufe muss man nachprüfen, um eine automatische Analyse zu kalibrieren?
Etwa 140 Urteile pro Kriterium, um eine Übereinstimmungsquote von 90% auf 5 Punkte genau zu schätzen, und etwa 390 für eine Genauigkeit von 3 Punkten. Bei einem bedingten Kriterium zählen nur die Anrufe, in denen die Situation eingetreten ist: Dann müssen mehr Anrufe gezogen werden.
Wie vermeidet man, von Qualitätsmeldungen überflutet zu werden?
Indem man die Sofortmeldung dem vorbehält, was eine Maßnahme am Anruf selbst noch am selben Tag erfordert, und den Rest als Quote, im Debrief oder in einem Bericht liest. Zählen Sie vor dem Aktivieren einer Regel, wie viele Anrufe des Vormonats sie ausgelöst hätten: Das ist das Volumen, das sie erzeugen wird.
Muss man die Berater über die automatische Analyse ihrer Anrufe informieren?
Ja. In Frankreich muss ein Beschäftigter vorab über jede Vorrichtung informiert werden, die Informationen über ihn erhebt, und das comité social et économique (CSE), die französische Arbeitnehmervertretung, wird vor der Einführung eines Mittels zur Kontrolle der Tätigkeit angehört. Zu erklären, was gemessen wird, wie man ein Urteil anficht und wer was sieht, verringert zudem die Anfechtungen.
Für den Anfang
Der erste Monat entscheidet sich an einem Bereich und einem Raster. Testen Sie Raisetalk mit Ihren eigenen Gesprächen, und kalibrieren Sie anhand Ihrer Anrufe, bevor Sie entscheiden.
