Viele Administratoren kommen mit den Gewohnheiten des manuellen Quality Monitorings zu Raisetalk, wo oft „breite Kriterien" formuliert wurden, die mehrere Themen vermischten. Das ist die größte Falle, die es zu vermeiden gilt.
Auf Seiten der menschlichen Prüfer machen solche breiten Kriterien die Bewertung instabil:
- jeder Prüfer interpretiert sie auf seine Weise, was regelmäßige Kalibrierungssitzungen erzwingt
- Verzerrungen summieren sich und der Vergleich zwischen Teams wird schwierig
- die Zeit, die für Schlichtung aufgewendet wird, übersteigt schnell die Zeit für Coaching
Auf Seiten der KI ist das Problem dasselbe: ein Kriterium, das mehrere unkorrelierte Bedingungen bündelt, zwingt die KI dazu, über eine unscharfe Menge zu entscheiden, was die Zuverlässigkeit der Ergebnisse mindert und die Berichte schwer auswertbar macht.
Die Regel ist daher einfach, bei Menschen wie bei KI: ein Kriterium = ein Thema, spezifisch und beobachtbar formuliert.
Aufbau eines Kriteriums
In Raisetalk besteht ein Kriterium aus den folgenden Elementen, die vom Administrator konfiguriert werden:
- Kategorie: zur Organisation der Kriterien und zur Orientierung im Referenzrahmen
- Name: eine kurze, in Berichten gut lesbare Bezeichnung
- Aussage: die „Wahrheit", die von der KI bei der Analyse geprüft wird
- Ausrichtung: wenn die Aussage bestätigt ist, gilt das Kriterium als erfüllt oder nicht erfüllt?
- Punkte: die Gewichtung des Kriteriums in der Gesamtbewertung
- Bewertungsmodus: automatisch (KI) oder manuell (Mensch)
- Bewertungsbedingungen: optional, um das Kriterium nur in bestimmten Fällen anzuwenden
- Sprache(n): damit das Kriterium im Referenzrahmen in mehreren Sprachen erscheint
Der heikelste Punkt, und derjenige, der die Wirksamkeit eines Kriteriums ausmacht, ist die Formulierung der Aussage. Die folgenden Abschnitte gehen auf jedes Element ein und beginnen mit genau diesem.
Ein Standard-Referenzrahmen
Wenn eine Raisetalk-Instanz erstellt wird, wird sie mit einer Sammlung von Standardkriterien ausgeliefert, die eine solide Basis bieten, die Sie nach Belieben weiterentwickeln können. Sie müssen also nicht bei null anfangen: Sie verfügen über bereits verfasste und strukturierte Beispiele, die Sie unverändert übernehmen, an Ihre Tätigkeit anpassen, deaktivieren oder ergänzen können.
Zwei geschäftliche Referenzrahmen werden abgedeckt:
- Support und Kundenbeziehung: ein Referenzrahmen, der sich an den Rastern von Gewählt zum Kundenservice des Jahres orientiert und die Schlüsselpunkte der Bearbeitungsqualität abdeckt: Begrüßung, aktives Zuhören, Reformulierung, Klarheit der Antwort, Gesprächsabschluss und weitere.
- Vertrieb: ein Referenzrahmen, der auf dem MEDDIC-Framework basiert (Metrics, Economic Buyer, Decision Criteria, Decision Process, Identify Pain, Champion), das Vertriebsgespräche rund um die klassischen Bewertungskriterien des B2B-Verkaufs strukturiert.
Neben der Zeitersparnis dienen diese Kriterien auch als konkrete Beispiele dafür, wie eine klare Aussage formuliert wird: sie zu lesen ist ein guter Weg, sich mit den in den folgenden Abschnitten beschriebenen Prinzipien vertraut zu machen.
Eine klare Aussage formulieren
Die Aussage ist der Text, den die KI auf der Transkription des Gesprächs zu überprüfen versucht. Damit sie nutzbar ist, muss sie einem einfachen Prinzip folgen:
WER tut WAS: ein Akteur (der Kunde, der Berater, der Verkäufer, der Interessent, ...), ein Aktionsverb und ein präzises Objekt.
Mit anderen Worten, die Aussage muss ein beobachtbares Verhalten in der Transkription beschreiben, kein Werturteil und keinen allgemeinen Begriff.
Beispiele: zu vermeiden / zu bevorzugen
| ❌ Zu vermeiden | ✅ Zu bevorzugen | Warum |
|---|---|---|
Churn | Der Kunde äußert die Absicht, seinen Vertrag zu kündigen | Ein Stichwort ist keine Aussage. Kein Subjekt, kein Verb, kein Objekt: weder die KI noch ein menschlicher Supervisor wüsste genau, was zu bewerten ist. |
Der Berater war professionell | Der Berater verwendet zu Beginn des Gesprächs eine Begrüßungsformel | „Professionell" ist subjektiv und umfasst viele Begriffe (Höflichkeit, Sorgfalt, Empathie und so weiter). Durch ein präzises, überprüfbares Verhalten ersetzen. |
Der Berater hat die Anfrage gut bearbeitet | Der Berater reformuliert das Anliegen des Kunden, bevor er eine Lösung vorschlägt | „Gut bearbeitet" ist zu vage, um bewertet zu werden. Eine konkrete Handlung beschreiben, die in der Transkription wiederzufinden ist. |
Der Berater zeigt Empathie und schlägt eine passende Lösung vor und respektiert die Geschäftspolitik | In 3 eigenständige Kriterien aufteilen: Empathie, passende Lösung, Einhaltung der Geschäftspolitik | Ein Kriterium = ein Thema. Mehrere Bedingungen in derselben Aussage zu vermischen macht die Bewertung unvorhersehbar und die Berichte unleserlich. |
Der letzte Fall ist der häufigste in Teams, die aus dem manuellen Quality Monitoring kommen. Sobald eine Aussage „und", „sowie", „während" usw. enthält, sollte sie wahrscheinlich aufgeteilt werden.
Das Kriterium ausrichten: erfüllt oder nicht erfüllt
Sobald die Aussage formuliert ist, muss angegeben werden, was passiert, wenn sie bestätigt ist: gilt das Kriterium als erfüllt oder nicht erfüllt?
Die Regel ist einfach:
- Aussage, die ein positives Verhalten beschreibt → erfüllt, wenn sie bestätigt ist Beispiel: Der Berater reformuliert das Anliegen des Kunden → erfüllt
- Aussage, die ein negatives Verhalten beschreibt → nicht erfüllt, wenn sie bestätigt ist Beispiel: Der Kunde äußert die Absicht, seinen Vertrag zu kündigen → nicht erfüllt
Mit anderen Worten, es ist tatsächlich die Tatsache, dass die Aussage bestätigt ist, die den vom Administrator gewählten Zustand auslöst. So lassen sich sowohl positive Signale als auch Alarmsignale natürlich formulieren.
Das Kriterium gewichten
Jedes Kriterium erhält Punkte, die sein Gewicht in der Gesamtbewertung des Gesprächs bestimmen:
- Von 0 bis 100 Punkte, wenn das Kriterium erfüllt ist
- Von 0 bis -100 Punkte, wenn es nicht erfüllt ist
Ein Kriterium mit 100 Punkten wiegt also zehnmal mehr in der Endnote als eines mit 10 Punkten.
Bewährte Praxis: innerhalb eines Rasters eine konsistente Skala beibehalten. Wenn die meisten Kriterien zwischen 10 und 30 gewichtet sind, wird ein einzelnes Kriterium mit 100 alle anderen erdrücken und die Bewertung schwer interpretierbar machen. Im Voraus 3 oder 4 Stufen zu definieren (z. B. gering / wichtig / erheblich / blockierend) und sich daran zu halten führt zu deutlich lesbareren Berichten.
Automatische oder manuelle Bewertung
Standardmäßig werden Kriterien automatisch von der KI bewertet. Dieser Modus macht die Gesprächsanalyse skalierbar: jedes Gespräch wird ohne menschliches Eingreifen verarbeitet.
In bestimmten Fällen kann es sinnvoll sein, ein oder zwei manuelle Kriterien pro Raster zu behalten, die von einem menschlichen Supervisor bewertet werden. Das bleibt die Ausnahme und betrifft typischerweise Kriterien, die zu subjektiv sind, um ohne zusätzlichen Fachkontext zuverlässig bewertet zu werden.
Diese Wahl wird bei der Erstellung des Kriteriums getroffen und kann danach nicht mehr geändert werden.
Die Bewertung konditionieren
Manche Kriterien ergeben nur in bestimmten Fällen Sinn. Raisetalk ermöglicht es, die Bewertung zu konditionieren, damit sie nur ausgelöst wird, wenn dieser Fall erkannt wird.
- Immer bewertetes Kriterium (ohne Bedingung): Der Kunde ist mit der gegebenen Antwort zufrieden
- Konditionales Kriterium: Wenn eine Halteschleife eintritt, informiert der Berater den Kunden, bevor er das Gespräch unterbricht. Dieses Kriterium wird nur bewertet, wenn während des Gesprächs tatsächlich eine Halteschleife stattgefunden hat.
Das verhindert, dass Kriterien in allen Gesprächen sanktioniert werden, in denen sie nicht anwendbar sind, und verfälscht die Gesamtbewertung.
Mehrsprachige Kriterien
Ein Kriterium kann in mehreren Sprachen erfasst werden. Diese Übersetzung ist rein redaktionell: sie ändert nichts an der Verarbeitung durch die KI. Ihr einziges Ziel ist es, das Kriterium im Referenzrahmen in jeder vom Konto unterstützten Sprache erscheinen zu lassen, damit jeder Administrator, Supervisor und Berater den Referenzrahmen in seiner Arbeitssprache einsehen kann.