Das Wichtigste in Kürze
- Ein Qualitätsraster wird justiert, nicht in einem Zug geschrieben. Solange ein Kriterium nicht an echten Gesprächen gelaufen ist, weiß niemand wirklich, was es misst.
- Die Neubewertung schließt den Kreis: Sie lassen ein Raster, an dem Sie noch arbeiten, erneut auf Gespräche los, die Sie bereits kennen, so oft wie nötig und ohne erneuten Import.
- Die bestehende Bewertung bleibt unangetastet. Die Neubewertung stellt eine zweite Bewertung daneben, mit eigener Note und eigener Historie.
- Nur die Kriterienanalyse wird erneut abgerechnet. Transkription, Zusammenfassungen und Etiketten werden unverändert übernommen.
- Eine Rasterreform lässt sich vor der Umstellung messen: Bewerten Sie einige Gespräche mit dem neuen Raster nach, vergleichen Sie mit dem alten und entscheiden Sie anhand von Zahlen statt aus dem Bauch heraus.
Ein Qualitätsraster schreibt man nicht, man justiert es
Fragen Sie eine Qualitätsverantwortliche, wie sie ihr Bewertungsraster aufgebaut hat. Sie wird selten von einer Schreibsitzung berichten. Sie wird von Monaten der Feinabstimmung erzählen: ein zu vages Kriterium, das immer dasselbe Urteil lieferte, eine Gewichtung, die alles andere erdrückte, eine Formulierung, die für sie eines bedeutete und für ihre Bewerter etwas anderes.
Dieses Raster ist das Fundament jedes Quality Monitoring: Es entscheidet, was gemessen wird, und damit auch, was anschließend gesteuert und gecoacht wird. Wenn eine KI das Raster anwendet, verschwindet die Justierarbeit nicht. Sie verlagert sich. Die Frage lautet nicht mehr „verstehen meine Bewerter dieses Kriterium gleich?", sondern „erkennt dieses Kriterium, so wie ich es formuliert habe, tatsächlich das, was ich suche?". Und diese Frage lässt sich nur auf eine Weise klären: es an echten Gesprächen laufen lassen und dann lesen, was es dazu sagt.
Genau das ermöglicht die Neubewertung. Von der Seite eines Gesprächs aus erstellen Sie eine zweite Bewertung, auf dem Raster Ihrer Wahl, auch auf dem, an dem Sie gerade schreiben.
Der kurze Zyklus: schreiben, prüfen, korrigieren
In der Praxis sieht die Feinabstimmung eines Rasters so aus.
Sie wählen einige Referenzgespräche aus, fünf oder zehn, die Sie in- und auswendig kennen. Ein sehr gutes Gespräch, ein schlechtes, zwei oder drei Grenzfälle: jene, bei denen Sie bereits wissen, was die Note aussagen sollte.
Sie schreiben eine erste Fassung Ihres Rasters und lassen sie auf diese Gespräche los. Sie schauen nicht nur auf die Note. Sie öffnen jedes Kriterium und lesen die Begründung, die die Analyse erzeugt hat: den Satz, der erklärt, warum das Kriterium als erfüllt oder nicht erfüllt gilt, samt der Gesprächspassage, die ihn ausgelöst hat. Genau dort zeigt sich ein schlecht formuliertes Kriterium. Das Urteil kann aus dem falschen Grund richtig sein oder aus einem Grund falsch, der Ihnen beim Lesen der Erklärung sofort ins Auge springt.
Sie korrigieren die Aussage in Ihrer Kriterienbibliothek und lassen dasselbe Raster erneut auf dieselben Gespräche los. Deshalb lässt die Neubewertung ausdrücklich ein bereits verwendetes Raster zu: Das ist kein geduldeter Sonderfall, das ist die eigentliche Arbeitsweise.
Da jeder Durchlauf eine eigene Bewertung erzeugt, behalten Sie die aufeinanderfolgenden Fassungen nebeneinander: Sie sehen die Wirkung Ihrer Korrektur, statt sie zu vermuten.
Eine gute Gewohnheit für Ihre Versuche. Testbewertungen zählen in Ihren Kennzahlen wie alle anderen. Sobald Ihr Raster steht, deaktivieren Sie die Testbewertungen: Sie verschwinden aus Reporting und Exporten, bleiben aber einsehbar. Sie können sie auch spontan über den weiter unten beschriebenen Filter der Gesprächsliste ausblenden.
Das Qualitätsraster reformieren, ohne im Blindflug zu navigieren
Der kurze Zyklus gilt für ein einzelnes Kriterium. Derselbe Mechanismus verändert die Natur eines weit größeren Vorhabens: der Reform eines Qualitätsrasters.
Ein Raster zu reformieren bedeutet, einen Bruch im eigenen Quality Monitoring in Kauf zu nehmen. Die Noten davor und danach sind nicht mehr vergleichbar, und die Frage aus der Geschäftsleitung kommt immer sofort: Sind unsere Beraterinnen und Berater schlechter geworden, oder ist das Raster strenger? Ohne Vergleichspunkt kann das niemand beantworten.
Die Neubewertung erlaubt es, die Umstellung mit Zahlen vorzubereiten. Sie nehmen eine Stichprobe von Gesprächen, die bereits mit dem alten Raster bewertet wurden, bewerten sie mit dem neuen nach und lesen die Differenz ab. Fünfzehn Punkte Abstand auf derselben Stichprobe bedeuten nicht, dass das Team nachgelassen hat: Sie bedeuten, dass Ihr neues Raster fünfzehn Punkte strenger ist. Sie kennen Ihren neuen Ausgangspunkt, bevor Sie irgendetwas umgestellt haben.
Das funktioniert, weil die Neubewertung nichts überschreibt. Die alte Note bleibt unversehrt, Ihre Steuerungshistorie bewegt sich nicht, und beide Bewertungen tragen das Datum des ursprünglichen Gesprächs, was sie im selben Zeitraum vergleichbar hält.
Ein Beispiel: kurze Anrufe
Auf einem Outbound-Team dauert ein erheblicher Teil der Anrufe weniger als eine Minute: Mailboxen, Vorzimmer, falsche Nummern, sofortige Absagen. Sie mit einem vollständigen Gesprächsraster zu bewerten, ergibt keinen Sinn. Nahezu jedes Kriterium ist entweder nicht anwendbar oder mechanisch nicht erfüllt, und die Beraterin wird für eine Situation bestraft, die sie nicht steuert.
Ein kurzes Raster für diese Anrufe zu bauen, ist eine typische Teilreform. Und die entscheidende Frage ist empirisch: Erzeugt dieses Raster mit zwanzig Kriterien bei meinen Anrufen unter einer Minute eine Note, die etwas aussagt? Das erfährt man nur, indem man es an echten kurzen Anrufen laufen lässt, die bereits analysiert wurden und deren Urteil unter dem langen Raster man kennt.
Konkret: Wie bewertet man ein Gespräch neu?
Auf der Seite eines Gesprächs öffnet ein Verzweigungssymbol in der Aktionsleiste des Analyse-Blocks das Fenster für die Neubewertung. Dort wählen Sie das Zielraster unter allen aktiven Rastern Ihrer Organisation aus, jeweils mit der Anzahl seiner Kriterien. Raster, die bereits von einer anderen Bewertung des Gesprächs verwendet werden, bleiben wählbar und werden lediglich als solche gekennzeichnet.
Ein Begründungskommentar ist Pflicht. Er steht nicht aus Formgründen da: Eine Neubewertung erzeugt eine zusätzliche Bewertung und verbraucht Analyseguthaben. Dieser Kommentar erklärt, warum dieser zweite Durchgang angefordert wurde, und er bleibt danach einsehbar, was bei einer Reihe von Versuchen an einem entstehenden Raster wertvoll ist.
Die neue Bewertung erscheint sofort, ihre Kriterien in Analyse, mit einem Countdown, der die Ansicht selbstständig aktualisiert. Einige Dutzend Sekunden später steht die Note.
Die Schaltfläche bleibt ausgegraut, solange die ursprüngliche Analyse nicht vollständig abgeschlossen ist: Eine Neubewertung übernimmt die Zusammenfassungen und Etiketten des Gesprächs, diese müssen also vorhanden sein.
Was nicht erneut ausgeführt wird, und was das ändert
Das ist es, was einen Zyklus von Versuchen wirtschaftlich vertretbar macht.
| Analysestufe | Erneut ausgeführt? | Warum |
|---|---|---|
| Transkription | Nein | Der Text des Gesprächs hängt nicht vom Raster ab |
| Zusammenfassungen und Stimmungen | Nein | Unverändert übernommen, ohne neuen Modellaufruf |
| Etiketten | Nein | Sie werden auf Organisationsebene konfiguriert, nicht pro Raster |
| Prosodie | Nein | Die Messung bezieht sich auf das Audio, nicht auf das Raster |
| Kriterien und Aussagen | Ja | Genau das definiert das Raster |
Eine Neubewertung kostet also nur die Aussagen des gewählten Rasters. Bei einem kurzen Raster mit rund zwanzig Kriterien ist das ein Bruchteil der Kosten einer vollständigen Analyse und in keinem Verhältnis zu einem erneuten Import, der die Transkription noch einmal bezahlen würde. Drei Versuchsrunden an zehn Referenzgesprächen bleiben ein bescheidener Aufwand angesichts eines Rasters, das Sie zwei Jahre lang einsetzen werden.
Jede Bewertung trägt ihre eigene Abrechnung, einsehbar in ihrem eigenen Bereich.
Zwei Bewertungen, zwei Leben
Eine Neubewertung ist keine Variante und kein Anhang. Sie ist eine vollwertige Bewertung.
Sie hat ihre eigene Note, berechnet auf den Kriterien ihres Rasters. Sie hat ihren eigenen Debrief, den die Führungskraft unabhängig öffnet und schließt. Sie ist von der Beraterin anfechtbar wie die andere auch, denn eine Note, die zählt, muss Gegenstand eines Einspruchsrechts sein können. Sie hat ihre eigene Versionshistorie. Und sie lässt sich deaktivieren, ohne dass dies die Bewertung berührt, aus der sie hervorgegangen ist, was bei einer Versuchsreihe genau das Gewünschte ist.
Diese Eigenständigkeit reicht bis zu den Dateien: Die Neubewertung besitzt ihre eigene Kopie der Aufzeichnung und des Transkripts. Eine Löschung bei der einen kann der anderen niemals etwas nehmen.
Ein Banner verbindet die Bewertungen desselben Gesprächs, jeweils mit Datum, Raster, Note und der zugehörigen Begründung. Ein Klick führt von der einen zur anderen.
Ein Gespräch, dessen Aufzeichnung gelöscht wurde, bleibt neu bewertbar. Die Löschung des Audios und die des Transkripts sind zwei getrennte Einstellungen. Solange das Transkript existiert, kann die Analyse erneut laufen: Sie arbeitet auf dem Text, nicht auf dem Ton.
Reporting während einer Testphase lesen
Zwei Bewertungen zählen in den Kennzahlen als zwei. Während einer Testkampagne für ein Raster sollte man sich dieser Wirkung bewusst sein.
Zwei Sicherungen. Jede Bewertung erscheint im Reporting ihres eigenen Rasters, ein Filter nach Raster trennt Ihre Versuche also ganz natürlich von Ihrer laufenden Steuerung. Und die Gesprächsliste bietet einen Filter mit zwei Gruppen: die Debrief-Status auf der einen Seite, der Bewertungsbereich auf der anderen, mit vier Optionen, die Ursprung und Neubewertung mit aktiv und deaktiviert kreuzen. Sie zeigen an, was Sie messen wollen, und der Export übernimmt exakt denselben Bereich.
In der Liste erkennt man eine Neubewertung an ihrem Verzweigungssymbol anstelle der üblichen Fortschrittsanzeige.
Nachvollziehbarkeit von Grund auf
Die Neubewertung reiht sich in die Familie der menschlichen Aufsichtsgesten ein, die das Quality Monitoring von Raisetalk rahmen: eine Bewertung ändern, sie anfechten, sie deaktivieren, sie debriefen. Alle folgen demselben Grundsatz: Die KI schlägt vor, der Mensch entscheidet, und die Plattform hält fest, wer was entschieden hat.
Hier nimmt diese Spur drei Formen an. Die ursprüngliche Bewertung wird nie verändert, was auch immer mit der neuen geschieht. Die Begründung wird archiviert als erste Version der Neubewertung, mit Urheber und Zeitstempel. Und diese erste Version enthält eine vollständige Momentaufnahme der Bewertung, aus der sie hervorging: Wer die Historie einer Neubewertung öffnet, sieht, woher sie kommt, in genau dem Zustand, in dem sie zum Zeitpunkt der Aktion war.
Geschützt ist die Neubewertung schließlich durch ein eigenes Recht, „Ein Gespräch neu bewerten", in der Familie Gespräche der Rollen- und Rechtematrix. Es ist standardmäßig Administratoren vorbehalten, und Sie öffnen es weiteren Rollen, wie Ihre Organisation es verlangt.
Für den Einstieg
- Wählen Sie drei bis fünf Referenzgespräche, deren erwartetes Urteil Sie bereits kennen.
- Öffnen Sie eines davon und klicken Sie in der Aktionsleiste des Blocks Analyse auf das Verzweigungssymbol.
- Wählen Sie das Raster, an dem Sie gerade arbeiten, und notieren Sie in wenigen Worten die Hypothese, die Sie testen.
- Lesen Sie die Begründungen Kriterium für Kriterium, nicht nur die Note. Korrigieren Sie Ihre Aussagen und lassen Sie dasselbe Raster erneut laufen.
Und morgen: mehrere Raster schon beim Import?
Eine Frage kommt auf, sobald man mehrere Raster auf demselben Gespräch handhabt: Warum nicht von vornherein zwei Raster auf jeden Anruf anwenden, eines vertrieblich und eines auf Konformität ausgerichtet?
Das ist eine berechtigte Frage, und die Neubewertung ist nicht die Antwort darauf. Ein systematischer Bedarf verlangt eine systematische Antwort: die Möglichkeit, mehrere Raster bereits bei der Integration oder beim Import zu bestimmen, damit jedes Gespräch mit beiden Lesarten ankommt, ohne manuellen Eingriff. Angemerkt sei, dass ein einzelnes, gut gebautes Raster oft beide Dimensionen sehr gut abdeckt und dass es echte Gründe braucht, zwei verschiedene Adressaten und zwei getrennte Maßnahmenpläne, um sie aufzuteilen.
Die Neubewertung beantwortet einen anderen und bestens ergänzenden Bedarf: die punktuelle, im Nachhinein getroffene Entscheidung zu einem bestimmten Gespräch. Ein Raster auf die Probe stellen, eine Reform vorbereiten, einen Debrief zuspitzen, einen Fehler korrigieren. Das ist bereits viel, und es steht heute zur Verfügung.