Het belangrijkste over de overstap naar 100% quality monitoring
- De overstap van het beluisteren van een steekproef naar de analyse van alle gesprekken verandert de methode, niet alleen de tool. Wat zeldzaam was, wordt massaal, wat werd geschat, wordt geteld, en een beoordelingsformulier dat is ontworpen voor het oor van een beoordelaar, kan een machine niet zomaar lezen.
- Zes stappen: bepalen wat u meet en op welk niveau, het beoordelingsformulier herschrijven voor een automatische lezing, de analyse kalibreren tegen uw beoordelaars, prioriteren voordat u de alerts activeert, per minuut budgetteren, het kwaliteitsteam anders inzetten.
- Kalibratie is de stap die het vaakst wordt overgeslagen. Ongeveer 140 nagelezen oordelen volstaan om de overeenstemming tussen de analyse en uw beoordelaars voor een criterium tot op 5 punten te schatten. De juiste referentie is niet 100% overeenstemming, maar de overeenstemming van uw beoordelaars onderling.
- Een alert gesprek per gesprek is alleen gerechtvaardigd als iemand binnen de dag op dat gesprek kan ingrijpen. De rest leest u als percentage, in de debriefing of in een rapport.
- Het kwaliteitsteam verdwijnt niet. Zijn tijd verschuift van beluisteren naar kalibratie, debriefing en actie, en de adviseurs moeten weten wat er wordt gemeten en hoe ze het kunnen betwisten.
Een verandering van methode, niet alleen van tool
Drie gesprekken per adviseur per maand beluisteren meet bijna niets. Bij 30 gesprekken heeft een compliancepercentage van 80% een betrouwbaarheidsinterval dat loopt van 63% tot 91%, duikt een verschil van tien punten van maand tot maand in meer dan de helft van de gevallen op, zelfs als er niets is veranderd, en blijft een tekortkoming die in 1% van de gesprekken voorkomt drie van de vier maanden onopgemerkt. Het detail van die berekeningen, en van wat het alternatief kost, staat in ons artikel 100% van de gesprekken analyseren: wat de statistiek zegt, en wat het echt kost.
De automatische analyse van alle gesprekken heft die beperking op. Maar wie een analyse koppelt aan een beoordelingsformulier dat voor het beluisteren is ontworpen, en alerts aan al zijn criteria, schept andere problemen: criteria die de machine slecht leest, scores die de adviseurs betwisten, honderden alerts die niemand afhandelt. De zes stappen die volgen, zijn er om die te vermijden.
| Stap | De vraag die u moet beslechten | Wat eruit voortkomt |
|---|---|---|
| 1. Bepalen wat u meet | Op welk niveau hebt u een betrouwbaar cijfer nodig? | De lijst van indicatoren, met hun niveau en de beslissing die ze dienen |
| 2. Het beoordelingsformulier herschrijven | Is elk criterium te beslechten op basis van wat er is gezegd? | Een beoordelingsformulier met waarneembare criteria |
| 3. De meting kalibreren | Oordeelt de analyse zoals uw beoordelaars? | Een overeenstemmingspercentage per criterium, en een beslissing per criterium |
| 4. De alerts prioriteren | Wie grijpt in, waarop, binnen welke termijn? | Drie circuits: het gesprek, de persoon, het proces |
| 5. Per minuut budgetteren | Welke minuten moet u echt analyseren? | Een scope, een volume, kosten per gesprek |
| 6. Het kwaliteitsteam anders inzetten | Wat gebeurt er met de tijd die aan beluisteren werd besteed? | Een nieuw werkritme, bekend bij de adviseurs |
Stap 1: bepalen wat u meet, en op welk niveau
Maak, voordat u aan de tool begint, de lijst van wat u wilt weten, en noteer voor elke indicator op welk niveau hij betrouwbaar moet zijn: het contactcenter, het team, de adviseur, het segment of het gesprek zelf. Dat niveau bepaalt of 100% nodig is.
| Wat u wilt weten | Niveau | Wat u moet beoordelen |
|---|---|---|
| Gaat ons gemiddelde compliancepercentage vooruit? | Het contactcenter | Een willekeurige steekproef van 400 gesprekken kan volstaan |
| Welke adviseurs moeten we als eerste begeleiden? | De adviseur | Al zijn gesprekken |
| Welke contactreden concentreert de klachten? | Het segment | Alle gesprekken met die contactreden |
| Welke klanten moeten we terugbellen om een tekortkoming recht te zetten? | Het gesprek | Alle gesprekken |
Noteer voor elke regel de beslissing die de indicator moet dienen: trainen, begeleiden, een script corrigeren, rechtzetten, de directie waarschuwen. Een indicator die geen enkele beslissing dient, hoort niet in het beoordelingsformulier, en hij zal alerts opleveren die niemand leest.
Stap 2: het beoordelingsformulier herschrijven voor een automatische lezing
Een beoordelingsformulier dat voor het beluisteren is ontworpen, rekent op het oordeel van de beoordelaar. “Toonde empathie”, “goede kennis van het aanbod”, “vlotte spreekstijl”: twee beoordelaars beantwoorden die vragen nu al niet altijd op dezelfde manier, en een automatische analyse heeft niets precies om in de transcriptie naar te zoeken. Elk criterium moet te beslechten zijn op basis van wat er is gezegd.
| Criterium voor het beluisteren | Criterium herschreven voor een automatische lezing |
|---|---|
| De adviseur toont empathie. | Als de klant een concreet gevolg van het probleem voor hem beschrijft, houdt de adviseur daar rekening mee in de oplossing die hij voorstelt. |
| Goede kennis van het aanbod. | De klant stelt een vraag over het aanbod waarop de adviseur geen antwoord geeft. |
| Naleving van de wettelijke vermeldingen. | De adviseur informeert de klant dat het gesprek wordt opgenomen, voordat hij op het onderwerp van het gesprek ingaat. |
Vier regels volstaan in de meeste gevallen:
- één onderwerp per criterium, zodat een oordeel “niet behaald” precies zegt wat er ontbrak;
- een feit dat in het gesprek waarneembaar is, geen indruk en geen innerlijke toestand die aan de adviseur of de klant wordt toegeschreven;
- een expliciete voorwaarde wanneer de situatie zich niet systematisch voordoet: een criterium dat begint met “Als”, “Wanneer” of “Indien” geldt als N/A wanneer de situatie zich niet voordoet, in plaats van het gesprek te bestraffen;
- compliance gescheiden van de rituelen, en de uitkomsten van het gesprek buiten de score gevolgd.
Die regels worden uitgewerkt in ons artikel over procedurele of relationele quality monitoring. In Raisetalk behoudt een criterium dat geen punten oplevert of kost, zijn oordeel zonder de score te beïnvloeden: het blijft filterbaar, voedt de rapportage en kan een alert activeren.
Stap 3: de meting kalibreren voordat u een score publiceert
Dit is de stap die het vaakst wordt overgeslagen, en die het duurst is om in te halen. Een automatische analyse kan zich bij een criterium vergissen, en die fout geldt voor alle gesprekken. Op 20.000 gesprekken geeft een slecht begrepen criterium een fout percentage met een precisie van één punt. En een individuele score die wordt gepubliceerd voordat ze is gecontroleerd, wordt terecht betwist en verliest daarna voor lange tijd haar geloofwaardigheid.
De kalibratie bestaat erin de analyse te confronteren met uw beoordelaars, criterium per criterium, op een willekeurig getrokken steekproef. De steekproef verdwijnt niet met 100%: ze krijgt een andere rol. Ze dient niet langer om de kwaliteit van de adviseurs te schatten, ze dient om de meting te controleren.
Het protocol
- Trek willekeurig gesprekken die al zijn geanalyseerd. Willekeurig, niet uit de gesignaleerde of betwiste gesprekken: anders meet u de analyse op haar moeilijkste gevallen en schat u haar slechter in dan ze is.
- Laat ze blind beoordelen door twee beoordelaars. Geen van beiden ziet het oordeel van de analyse of dat van zijn collega.
- Vergelijk, criterium per criterium: de overeenstemming tussen de twee beoordelaars, daarna de overeenstemming van de analyse met elk van hen.
- Lees de richting van de meningsverschillen. Een analyse die strenger of milder is dan uw beoordelaars, verschuift alle percentages in dezelfde richting. Verspreide meningsverschillen, in beide richtingen, vertekenen de percentages weinig, maar wegen op de individuele scores.
- Beslis criterium per criterium: in productie nemen, herschrijven of handmatige beoordeling.
- Herhaal dit elke maand op een kleine steekproef, en bij elke wijziging van het beoordelingsformulier.
Hoeveel oordelen u moet nalezen
| Verwachte overeenstemming | Beoogde precisie | Na te lezen oordelen, per criterium |
|---|---|---|
| 90% | 5 punten | ongeveer 140 |
| 90% | 3 punten | ongeveer 390 |
| 95% | 3 punten | ongeveer 200 |
Voor een voorwaardelijk criterium tellen alleen de gesprekken waarin de situatie zich heeft voorgedaan. Voor een criterium dat op één op de vijf gesprekken van toepassing is, moet u dus ongeveer 700 gesprekken trekken om 140 bruikbare oordelen te krijgen.
De juiste drempel is niet 100%
De referentie is niet de perfecte overeenstemming, die uw beoordelaars onderling ook niet halen. Als de analyse het met elk van uw beoordelaars even vaak eens is als zij het onderling eens zijn, beoordeelt ze dat criterium minstens even consequent als uw team, en ze doet dat op alle gesprekken.
Wees op uw hoede voor het ruwe overeenstemmingspercentage bij criteria die bijna altijd worden behaald. Als een criterium in 98% van de gesprekken wordt behaald, zou een analyse die telkens “behaald” antwoordt, het 98 keer op de 100 met uw beoordelaars eens zijn zonder iets op te sporen. Kijk liever naar de minderheidsgevallen: hoeveel van de gesprekken die uw beoordelaars als niet behaald beoordelen, heeft de analyse ook opgemerkt? Statistici corrigeren die vertekening met de kappa van Cohen, die de overeenstemming door toeval eruit haalt.
Wat u voor elk criterium beslist
- In productie nemen wanneer de overeenstemming op het niveau ligt van die tussen uw beoordelaars, zonder uitgesproken vertekening in één richting.
- Herschrijven wanneer de meningsverschillen zich concentreren op een dubbelzinnige formulering: twee ideeën in hetzelfde criterium, een woord dat iedereen anders begrijpt, een impliciete voorwaarde. Laat de nieuwe versie, voordat u ze uitrolt, draaien op gesprekken die al zijn beoordeeld, met de herbeoordeling met een ander beoordelingsformulier.
- Handmatige beoordeling wanneer het criterium informatie vraagt die niet in het gesprek zit, of een oordeel dat u menselijk wilt houden. Een criterium kan worden voorbehouden aan de handmatige beoordeling, naast de automatische analyse: dat is het principe van de hybride analyse.
In Raisetalk gaat elk oordeel vergezeld van zijn onderbouwing en van de passages uit het gesprek waarop het steunt: een beoordelaar controleert een oordeel in enkele seconden, in plaats van het gesprek opnieuw te beluisteren. Zodra het beoordelingsformulier in productie is, bewaart een beoordeling die door een manager is gewijzigd de lezing van de AI naast de menselijke beslissing, en wordt elke betwisting van een criterium door een adviseur vastgelegd. De criteria die vaak terugkomen in die correcties, zijn de eerste die u opnieuw kalibreert.
Stap 4: prioriteren voordat u de alerts activeert
100% maakt in één klap alles zichtbaar wat onzichtbaar was. Op 20.000 gesprekken per maand levert een criterium dat in 5% van de gevallen niet wordt behaald een vijftigtal gevallen per werkdag op. Als elk daarvan een e-mail verstuurt, leest na een week niemand ze nog.
De regel die u vastlegt voordat u ook maar één alert activeert: een alert gesprek per gesprek is alleen gerechtvaardigd als iemand binnen de dag op dat specifieke gesprek kan ingrijpen. De rest leest u als percentage.
| Circuit | Wat het in gang zet | Vorm | Ontvanger en termijn |
|---|---|---|---|
| Het gesprek | Ernstige compliancetekortkoming, opzegdreiging, formele klacht | Onmiddellijke alert, per e-mail | Een bij naam aangewezen persoon, die binnen de dag ingrijpt |
| De persoon | Criterium dat herhaaldelijk niet wordt behaald door een adviseur of een team | Percentage over de periode, notificaties die in eigen tempo te raadplegen zijn | De manager, bij de volgende debriefing |
| Het proces | Toenemende contactreden, handeling die overal ontbreekt, script dat niet werkt | Geaggregeerde en gerangschikte vaststelling | De directie, in het maandrapport |
Drie werkwijzen voorkomen de lawine:
- Tellen voordat u activeert. Filter de gesprekken van de vorige maand op het beoogde criterium: hun aantal is het volume aan alerts dat de regel zou hebben opgeleverd. Als dat meer is dan de ontvanger op een dag kan afhandelen, hoort de regel in een ander circuit.
- Beginnen met weinig onmiddellijke alerts. Twee of drie e-mailregels bij de start, voorbehouden aan het eerste circuit. De andere regels sturen een notificatie zonder te onderbreken, en u herziet het systeem na een paar weken, op basis van wat is gelezen en afgehandeld.
- Elke regel benoemen naar wat hij signaleert. “Opname niet aangekondigd op het beoordelingsformulier Verkoop” leest u in één oogopslag, “Alert 3” veel minder.
In Raisetalk kiest u de verzendwijze regel per regel: Notificatie per e-mail voor wat moet onderbreken, Notificatie in Raisetalk voor wat alleen gezien moet worden, op de pagina Mijn alerts, die alle afgegane alerts bewaart en bijhoudt wat is gelezen. Voor die pagina kunt u, net als voor een analytisch rapport, een ingeplande verzending instellen: een periodiek overzicht in plaats van een continue stroom. Voor het derde circuit rangschikt de managementrapportage haar vaststellingen op basis van de waargenomen afwijking, de ernst van het criterium en het aantal gesprekken waarop ze steunen.
Stap 5: per minuut budgetteren
Bij facturering op basis van gebruik bouwt u het budget op in drie regels.
- Het brutovolume: het aantal gesprekken per maand vermenigvuldigd met hun gemiddelde duur. 20.000 gesprekken van 5 minuten zijn samen 100.000 minuten.
- Wat niet zinvol is om te analyseren: voicemails, gesprekken van enkele seconden, interne doorverbindingen, testlijnen. Met de telefonieconnectoren van Raisetalk, zoals Aircall of Ringover, kunt u een minimale duur instellen, de richting van de gesprekken kiezen en lijnen of gebruikers uitsluiten.
- De prijs per minuut: Raisetalk factureert vanaf € 0,10 per geanalyseerde gespreksminuut, zonder licentie en zonder minimale looptijd, met pakketten boven een bepaald maandvolume.
Herleid het totaal vervolgens tot kosten per beoordeeld gesprek, de enige eenheid waarmee u facturering op basis van gebruik, een licentie per seat en de kosten van handmatig beluisteren kunt vergelijken. Voor een licentie per seat deelt u de maandprijs van de seat door het aantal gespreksminuten van de adviseur: zo krijgt u de equivalente prijs per minuut. De ordes van grootte, waaronder de kosten van een handmatige beoordeling, staan in onze berekening van de kosten van de analyse van 100% van de gesprekken.
Begin met een afgebakende scope, niet met het hele contactcenter. Eén team of één type gesprek, bijvoorbeeld opzeggingen of klachten, gedurende een maand. De eerste maand dient om te kalibreren en de alerts af te stellen: het budget van de pilot is dat van de minuten binnen die scope, en over de uitbreiding beslist u op basis van cijfers.
Stap 6: het kwaliteitsteam anders inzetten, en de adviseurs informeren
De overstap naar 100% schaft het werk van het kwaliteitsteam niet af, maar verandert de aard ervan.
| Activiteit | Met beluisteren via een steekproef | Met de analyse van alle gesprekken |
|---|---|---|
| Gesprekken beluisteren en scoren | Het grootste deel van de tijd | De maandelijkse kalibratie van een willekeurig getrokken steekproef |
| De te beluisteren gesprekken kiezen | Elke week | Niet meer nodig: alle gesprekken worden beoordeeld |
| Een debriefing voorbereiden | Op basis van drie gesprekken | Op basis van alle gesprekken van de adviseur, met de passages als onderbouwing |
| De alerts afhandelen | Afhankelijk van wat toevallig wordt beluisterd | Volgens de circuits van stap 4 |
| Een verschil verklaren | Onmogelijk op 30 gesprekken | Op basis van de managementrapportage |
| Het beoordelingsformulier laten evolueren | Zelden, bij gebrek aan meting | Op basis van de kalibratie en de betwistingen |
De vrijgekomen tijd gaat in de eerste plaats naar de debriefing, die de kern van het vak wordt: een adviseur gaat vooruit met voorbeelden uit zijn eigen gesprekken, niet met een score.
Dan moeten de adviseurs nog worden geïnformeerd, en dat is geen formaliteit. In Frankrijk mag geen enkele informatie die een werknemer persoonlijk betreft, worden verzameld via een systeem dat niet vooraf ter kennis van die werknemer is gebracht (artikel L1222-4 van het Franse arbeidswetboek, de Code du travail), en het comité social et économique (CSE), de Franse werknemersvertegenwoordiging, wordt vóór de invoering geïnformeerd en geraadpleegd over de middelen waarmee de activiteit van de werknemers kan worden gecontroleerd (artikel L2312-38). Los van die verplichting zijn er drie dingen die u duidelijk moet zeggen:
- wat er wordt gemeten: gedrag dat in het gesprek wordt waargenomen en controleerbare feiten, nooit een emotie of een innerlijke toestand;
- hoe de adviseurs kunnen betwisten: een oordeel gaat altijd vergezeld van zijn onderbouwing en de betrokken passages, en een adviseur kan de waarde voorstellen die hij juist vindt;
- wie wat ziet: de rollen en toegangsrechten beperken elke lezer tot zijn eigen bereik.
De vijf meest gemaakte fouten
- Het beoordelingsformulier voor het beluisteren ongewijzigd aankoppelen, zonder de criteria te herschrijven die op het oordeel van de beoordelaar steunden.
- Individuele scores publiceren voordat de analyse is gekalibreerd.
- Voor elk criterium een e-mailalert activeren.
- Adviseurs rangschikken op een score die ook afhangt van wat ze niet in de hand hebben, zoals de contactreden of een commerciële beslissing die elders is genomen.
- Het kwaliteitsteam inkrimpen in plaats van het anders in te zetten: de meting gaat achteruit zodra niemand haar nog controleert.
De belangrijkste begrippen
- 100% quality monitoring: automatische beoordeling van alle gesprekken binnen een scope met een beoordelingsformulier van criteria, ter vervanging van het beluisteren van een steekproef
- Kalibratie: vergelijking van de oordelen van de automatische analyse met die van menselijke beoordelaars, criterium per criterium, om na te gaan of de meting betrouwbaar is en haar bij te sturen
- Dubbele blinde lezing: beoordeling van hetzelfde gesprek door twee personen die noch het oordeel van de ander, noch dat van de analyse zien
- Kappa van Cohen: maat voor de overeenstemming tussen twee beoordelaars die het deel van de overeenstemming dat aan toeval te wijten is eruit haalt
- Voorwaardelijk criterium: criterium dat alleen van toepassing is als een bepaalde situatie zich in het gesprek voordoet, en anders als N/A geldt
- Alertcircuit: weg die een vaststelling volgt naargelang de actie die ze vraagt: een actie op het gesprek, op een persoon of op het proces
Veelgestelde vragen
Hoe stapt u over van het beluisteren van een steekproef naar de analyse van 100% van de gesprekken?
In zes stappen: bepalen wat u meet en op welk niveau, het beoordelingsformulier herschrijven in waarneembare criteria, de analyse kalibreren tegen uw beoordelaars, de alerts prioriteren in drie circuits, per minuut budgetteren op een eerste scope, en daarna het kwaliteitsteam anders inzetten, op kalibratie, debriefing en actie. Informeer de adviseurs en raadpleeg, als er een is, het comité social et économique (CSE), de Franse werknemersvertegenwoordiging, vóór de invoering.
Moet u menselijke beoordelaars behouden wanneer de AI alle gesprekken analyseert?
Ja. Ze dienen niet langer om willekeurig gesprekken te beluisteren, maar om de meting te controleren, betwistingen te beslechten, debriefings voor te bereiden en het beoordelingsformulier te laten evolueren. Zonder regelmatige kalibratie kan een automatische analyse bij een criterium afdrijven zonder dat iemand het merkt.
Hoeveel gesprekken moet u nalezen om een automatische analyse te kalibreren?
Ongeveer 140 oordelen per criterium om een overeenstemmingspercentage van 90% tot op 5 punten te schatten, en ongeveer 390 voor een precisie van 3 punten. Voor een voorwaardelijk criterium tellen alleen de gesprekken waarin de situatie zich heeft voorgedaan: u moet dan meer gesprekken trekken.
Hoe voorkomt u dat u door kwaliteitsalerts wordt overspoeld?
Door de onmiddellijke alert te reserveren voor wat binnen de dag een actie op het gesprek zelf vraagt, en de rest te lezen als percentage, in de debriefing of in een rapport. Tel vóór u een regel activeert hoeveel gesprekken van de vorige maand hem zouden hebben geactiveerd: dat is het volume dat hij zal opleveren.
Moet u de adviseurs informeren over de automatische analyse van hun gesprekken?
Ja. In Frankrijk moet een werknemer vooraf worden geïnformeerd over elk systeem dat informatie over hem verzamelt, en wordt het comité social et économique (CSE) geraadpleegd vóór de invoering van een middel om de activiteit te controleren. Uitleggen wat er wordt gemeten, hoe een oordeel kan worden betwist en wie wat ziet, vermindert ook het aantal betwistingen.
Aan de slag
De eerste maand draait om een scope en een beoordelingsformulier. Probeer Raisetalk op uw eigen gesprekken, en kalibreer op uw eigen oproepen voordat u beslist.
