100% van de gesprekken analyseren: wat de statistiek zegt, en wat het echt kost

100% is een argument, zelden een berekening

De meeste pagina's over speech analytics volgen hetzelfde stramien. Ze beschrijven de overstap van het beluisteren van een steekproef naar de automatische analyse van alle gesprekken, stellen die voor als het belangrijkste voordeel en gaan dan over naar de functies. Weinig ervan laten met cijfers zien waarom de steekproef niet volstaat.

Toch kan elke kwaliteitsmanager die berekening zelf maken. Ze zegt twee dingen die het commerciële argument verzwijgt: de gebruikelijke steekproef meet nog minder dan men denkt, en de analyse van alle gesprekken lost niet alle problemen op. We maken haar hier voor een typisch geval, hetzelfde in het hele artikel:

• een contactcenter dat 20.000 gesprekken per maand verwerkt;
• 50 adviseurs verdeeld over vijf teams van tien, dus ongeveer 400 gesprekken per adviseur en 4.000 per team;
• een kwaliteitsteam dat drie gesprekken per adviseur per maand beluistert, dus 30 gesprekken per team en 150 voor het hele contactcenter;
• een compliancecriterium dat nauwlettend wordt gevolgd: de klant informeren dat het gesprek wordt opgenomen.

Die volumes gelden voor veel contactcenters. Wijken de uwe af, dan geven de tabellen hieronder de ordes van grootte voor andere steekproefgroottes.

De berekening: wat 30 gesprekken meten

Vorige maand bevatten 24 van de 30 beluisterde gesprekken in een team de informatie over de opname. Gemeten percentage: 80%.

Dat cijfer is niet het percentage van het team. Het is een schatting, en de precisie ervan valt te berekenen. Met 95% betrouwbaarheid ligt het werkelijke percentage, het percentage dat u zou krijgen als u alle 4.000 gesprekken van het team beluisterde, tussen 63% en 91%. Een marge van 28 punten, voor een indicator die vervolgens tot op het punt wordt besproken.

Twee opmerkingen zetten deze tabel in een ander licht.

De grootte van het contactcenter speelt bijna geen rol. De precisie hangt af van het aantal beoordeelde gesprekken, niet van het aantal verwerkte gesprekken. Dertig gesprekken meten een team van 4.000 gesprekken even slecht als een contactcenter van 200.000.

De individuele opvolging heeft geen statistische basis. Drie beluisterde gesprekken per maand rangschikken vooral het toeval: een adviseur met 2 van de 3 en een collega met 3 van de 3 zijn niet van elkaar te onderscheiden. Zelfs opgeteld over een heel jaar laten 36 beluisterde gesprekken een marge van 25 punten over, in de veronderstelling dat de werkwijze van de adviseur in twaalf maanden niet is veranderd.

Vanaf welk verschil is een actieplan gegrond?

De maand daarop haalt het team 21 van de 30, ofwel 70%. Tien punten minder: de supervisor herinnert aan de instructie, het kwaliteitscomité vraagt om een actieplan.

De toets die geschikt is om twee kleine steekproeven te vergelijken, de exacte toets van Fisher, geeft een kans van 0,55. Met andere woorden: als er in het team niets was veranderd, zou u in meer dan de helft van de gevallen een minstens even groot verschil zien, alleen door het toeval van de trekking. Het actieplan reageert op ruis.

Om de daling significant te laten zijn bij de gebruikelijke drempel van 5%, zou het team moeten zakken van 24 naar 15 conforme gesprekken op 30, dus van 80% naar 50%. Met 30 gesprekken per periode ziet u alleen massale verslechteringen.

De vraag stelt zich ook in de andere richting: hoeveel gesprekken moet u per periode beoordelen om een goede kans, vier op de vijf, te hebben dat u een daling opspoort die echt bestaat?

Tweezijdige toets bij een drempel van 5%, onderscheidend vermogen van 80%, normale benadering.

Met 30 gesprekken per periode ziet u alleen de rampen. De verschillen van een paar punten die de meeste kwaliteitscomités bespreken, zijn bij deze volumes niet van toeval te onderscheiden. Dat is geen kritiek op de kwaliteitsteams: het is de grens van het instrument dat ze hebben gekregen.

De praktische regel die daaruit volgt, past in één vraag. Vraag, voordat u op basis van een schommeling een actieplan opstart, op hoeveel gesprekken elk van de twee vergeleken cijfers steunt. Zelfs met een honderdtal gesprekken per periode laat een verschil van minder dan 14 punten geen conclusie toe.

Zeldzame fouten: wat de steekproef niet zal zien

Het gemiddelde percentage is niet altijd de juiste vraag. Bij compliance luidt de vraag vaak: gebeurt het, en waar? Een telemarketinggesprek zonder vastlegging van de toestemming, een afgesloten contract waarbij de adviesplicht niet uit het gesprek blijkt, een verplichte vermelding die is weggelaten.

Stel dat een tekortkoming in 1% van de gesprekken voorkomt, dus 40 gesprekken per maand voor een team en 200 voor het contactcenter.

• In de 30 beluisterde gesprekken van een team is de kans dat u er geen enkele vindt 74%. Drie van de vier maanden concludeert het team dat alles in orde is.
• In de 150 beluisterde gesprekken voor het hele contactcenter is die kans nog altijd 22%, in meer dan één op de vijf maanden.

En wanneer de steekproef niets vindt, bewijst ze niet veel. Nul tekortkomingen op 150 gesprekken blijft, met 95% betrouwbaarheid, verenigbaar met een werkelijk percentage tot 2%, dus 400 niet-conforme gesprekken per maand op 20.000. Nul op de 30 gesprekken van een team is verenigbaar met een percentage tot 9,5%, dus bijna 400 gesprekken op de 4.000 van het team. Dat is wat statistici de regel van drie noemen: wanneer op n gesprekken geen enkel geval wordt waargenomen, kan het werkelijke percentage oplopen tot ongeveer 3 / n.

Wanneer de steekproef wel een geval vindt, zegt ze niet waar de andere zijn. Een tekortkoming vaststellen in één beluisterd gesprek betekent vernemen dat er waarschijnlijk tientallen bestaan, zonder te weten welke. Om de situatie recht te zetten, de betrokken klanten terug te bellen of op een controle te antwoorden, hebt u precies die gesprekken nodig, geen schatting van hun aantal.

Voor een gemiddelde volstaan 400 gesprekken: 100% dient voor iets anders

Het zou oneerlijk zijn hier te stoppen. Als de enige vraag het gemiddelde niveau van een criterium over het hele contactcenter is, volstaat een goed opgezette steekproef: 400 willekeurig getrokken gesprekken geven het percentage tot op 4 punten nauwkeurig, 1.000 gesprekken tot op 2,5 punten. Alle 20.000 beluisteren zou voor die vraag bijna niets toevoegen.

Op twee voorwaarden, waaraan de huidige werkwijzen zelden voldoen:

• Het volume. Bij 15 tot 20 minuten per beoordeling houden 400 beluisterde gesprekken per maand ongeveer één voltijdse beoordelaar bezig, voor één enkele indicator op het niveau van het contactcenter.
• Het toeval. Een gekozen steekproef is geen willekeurige steekproef. De beluisterde gesprekken zijn vaak die welke een supervisor heeft opgemerkt, die uit een handig tijdvak, die waarover een klacht is ingediend, of die van een adviseur die men in het zonnetje wil zetten. Die selectiebias corrigeert u niet door meer te beluisteren: 400 slecht gekozen gesprekken geven een foute schatting met een grote precisie.

100% dient dus niet in de eerste plaats om een gemiddelde beter te schatten. Het dient voor vier dingen die geen enkele redelijke steekproef mogelijk maakt.

1. Elke adviseur meten. Met 400 gesprekken per adviseur is zijn percentage elke maand tot op 4 punten bekend, in plaats van een marge van 70 punten. De debriefing gaat dan over vastgestelde feiten, met de passages als onderbouwing, en niet over drie willekeurig getrokken gesprekken.
2. Elke zeldzame fout vinden, in plaats van de frequentie ervan te schatten.
3. Segmenten vergelijken. Een contactreden, een locatie, een dienstverlener, een tijdvak, een campagne: elke kruising vraagt honderden gesprekken. Dertig gesprekken verdeeld over vijf contactredenen laten er zes per vakje over.
4. De gesprekken terugvinden waarop u moet ingrijpen. Een schatting zegt “ongeveer 2% van de afgesloten contracten zonder informatie over het herroepingsrecht”. De analyse van alle gesprekken geeft de lijst van de betrokken gesprekken, met de passage in kwestie.

Daar komt de verklaring bij. Een handeling van de adviseur koppelen aan een zeldzame uitkomst, een klacht of een gemiste verkoop, vraagt honderden gesprekken die met hetzelfde beoordelingsformulier zijn beoordeeld. Dat is het werk van de pagina “mechaniek” van de managementrapportage, die het percentage van een uitkomst vergelijkt naargelang de handeling aanwezig of afwezig is, bij gelijke score.

Wat 100% niet oplost

De meetfout vervangt de steekproeffout

Op 20.000 gesprekken krimpt het betrouwbaarheidsinterval tot één punt. Maar het meet alleen de fout die door de trekking ontstaat. De andere foutbron, die van het meetinstrument, blijft volledig bestaan: een automatische analyse kan zich bij een criterium vergissen, en die fout neemt niet af met het volume. Als de analyse de informatie over de opname niet herkent in 5% van de gesprekken waarin ze wel is gegeven, toont het percentage 76% in plaats van 80%, met een precisie van één punt. Een zeer nauwkeurige meting van een slecht begrepen criterium blijft fout.

Menselijke beoordelaars ontsnappen niet aan dat probleem. Twee beoordelaars die hetzelfde gesprek beluisteren, komen niet altijd tot hetzelfde oordeel, en contactcenters noemen het werk om dat verschil te verkleinen kalibratie. Maar de fout van een beoordelaar weegt alleen op de paar gesprekken die hij beluistert, terwijl die van een automatische analyse op alle gesprekken van toepassing is.

Vandaar een weinig intuïtief gevolg: de steekproef verdwijnt niet met 100%, ze krijgt een andere rol. Ze dient niet langer om de kwaliteit van de adviseurs te schatten, ze dient om de meting te controleren. Een dubbele menselijke lezing van een willekeurige steekproef van oordelen, criterium per criterium, toont waar de analyse zich vergist en in welke richting. De ordes van grootte van de eerste tabel gelden ook hier: ongeveer 140 nagelezen oordelen volstaan om een overeenstemmingspercentage van 90% tot op 5 punten te schatten.

In Raisetalk gaat elk oordeel vergezeld van zijn onderbouwing en van de passages uit het gesprek waarop het steunt, wat het nalezen snel maakt. Een beoordeling die door een manager is gewijzigd bewaart de lezing van de AI naast de menselijke beslissing, en de adviseur kan een criterium betwisten: de meningsverschillen blijven zichtbaar, criterium per criterium. Het volledige kalibratieprotocol staat beschreven in onze methode om over te stappen op 100% quality monitoring.

Het volume aan alerts

Een tweede effect van 100%, en een directer effect: alles wat onzichtbaar was, wordt zichtbaar, en allemaal tegelijk. Op 20.000 gesprekken levert een criterium dat in 5% van de gevallen niet wordt behaald 1.000 gevallen per maand op, een vijftigtal per werkdag. Voor één enkel criterium. Als elk daarvan een e-mail verstuurt, leest na een week niemand ze nog, en belandt het systeem, maar dan duurder, opnieuw in de blindheid van de steekproef. Bij compliance is de situatie nog erger: een tekortkoming die is opgespoord en daarna zonder gevolg is gebleven, valt bij een controle moeilijk te verantwoorden.

De sortering gebeurt op basis van één vraag: wie kan ingrijpen, waarop, en binnen welke termijn? Die vraag scheidt drie circuits.

• Wat om actie op het gesprek zelf vraagt: een ernstige compliancetekortkoming, een opzegdreiging, een formele klacht. Onmiddellijke alert, gesprek per gesprek, gericht aan iemand die binnen de dag kan ingrijpen.
• Wat om actie op de werkwijze van een adviseur of een team vraagt: een criterium dat herhaaldelijk niet wordt behaald. Geen alert per gesprek, maar een percentage over de periode, behandeld in de debriefing.
• Wat om actie op het proces vraagt: een contactreden die toeneemt, een handeling die overal ontbreekt, een script dat niet werkt. Een geaggregeerde, gerangschikte vaststelling, voorgelegd aan de directie.

Een alert gesprek per gesprek is alleen gerechtvaardigd als iemand snel op dat specifieke gesprek kan ingrijpen. Al het andere leest u als percentage. In Raisetalk kiest u de verzendwijze regel per regel, per e-mail of via een eenvoudige notificatie in de applicatie, te raadplegen op de pagina Mijn alerts. De managementrapportage rangschikt haar vaststellingen op basis van de waargenomen afwijking, de ernst van het criterium en het aantal gesprekken waarop ze steunen, zodat het ernstige en het massale voorgaan op het anekdotische.

De werkelijke kosten: per beoordeeld gesprek, niet per seat

Dan blijft de vraag die vaak alles beslist. Op deze markt bestaan twee prijsmodellen naast elkaar:

• per seat: een prijs per gebruiker per maand, los van het volume. De kosten volgen het personeelsbestand, niet de activiteit;
• op basis van gebruik: een prijs per geanalyseerde gespreksminuut. De kosten volgen het volume.

Om te vergelijken werkt maar één eenheid: de kosten per daadwerkelijk beoordeeld gesprek, zoals onze criteria om een oplossing te kiezen aanbevelen.

Bij een licentie per seat krijgt u die kosten door de maandprijs van de seat te delen door het aantal gesprekken van de adviseur. Eenzelfde seatprijs levert zo kosten per gesprek op die drie keer hoger liggen voor een adviseur die 150 gesprekken per maand voert dan voor een collega die er 450 voert. Om te vergelijken met een aanbod per minuut deelt u de prijs van de seat door het aantal gespreksminuten van de adviseur per maand: zo krijgt u de equivalente prijs per minuut.

Bij facturering op basis van gebruik krijgt u die kosten door de gemiddelde duur van een gesprek te vermenigvuldigen met de prijs per minuut. Raisetalk factureert vanaf € 0,10 per geanalyseerde gespreksminuut, zonder licentie, zonder installatiekosten en zonder minimale looptijd, met pakketten boven een bepaald maandvolume. Tegen het laagste tarief kost een gesprek van 5 minuten € 0,50.

Daartegenover staat de handmatige beoordeling. Een gesprek van 5 minuten beoordelen betekent het volledig beluisteren, de twijfelachtige passages opnieuw beluisteren, het beoordelingsformulier invullen en een opmerking schrijven: reken op 15 tot 20 minuten. Bij € 30 per uur aan volledige loonkosten, een aanname die u door uw eigen cijfer vervangt, kost een handmatige beoordeling € 7,50 tot € 10.

Twee kanttekeningen, zodat de vergelijking eerlijk blijft.

• 100% schaft het menselijke werk niet af, het verplaatst het. Kalibratie van de meting, afhandeling van de alerts, debriefings, arbitrage van de betwistingen: de tijd van het kwaliteitsteam verschuift van beluisteren naar handelen. De tabel vergelijkt beoordelingskosten, geen personeelsbezetting.
• Niet alle minuten hoeven te worden geanalyseerd. Voicemails, gesprekken van enkele seconden, interne doorverbindingen, testlijnen: met de telefonieconnectoren van Raisetalk, zoals Aircall of Ringover, kunt u een minimale duur instellen, de richting van de gesprekken kiezen en lijnen of gebruikers uitsluiten. De factuur volgt wat u besluit te analyseren.

Van de steekproef naar 100%

De berekening zegt waarom de steekproef niet volstaat. Ze zegt niet hoe u zonder steekproef verder kunt zonder in de twee valkuilen te trappen die hierboven zijn beschreven: de slecht gekalibreerde meting en de lawine aan alerts. Bepalen wat u meet, het beoordelingsformulier herschrijven, kalibreren, de alerts prioriteren, budgetteren, het kwaliteitsteam anders inzetten: de zes stappen staan beschreven in onze methode om over te stappen op 100% quality monitoring.

Veelgestelde vragen

Hoeveel gesprekken moet u beluisteren om de kwaliteit van een contactcenter te meten?

Dat hangt af van het niveau en de precisie die u nastreeft. Voor een gemiddeld percentage op het niveau van het contactcenter geven 250 tot 400 willekeurig getrokken gesprekken een precisie van 4 tot 5 punten. Om een daling van 10 punten van de ene maand op de andere op te sporen, zijn bijna 300 beoordeelde gesprekken per periode nodig. Om elke adviseur te volgen, volstaat geen enkele vorm van handmatig beluisteren: met drie gesprekken per maand beslaat het betrouwbaarheidsinterval meer dan 70 punten.

Waarom 100% van de gesprekken analyseren in plaats van een steekproef?

Niet om een gemiddelde beter te schatten, want dat meet een willekeurige steekproef van 400 gesprekken al correct. 100% dient om elke adviseur op een solide basis te meten, zeldzame fouten te vinden, segmenten zoals contactredenen of locaties te vergelijken, en vooral om de betrokken gesprekken terug te vinden, zodat u kunt ingrijpen.

Is de automatische analyse van alle gesprekken betrouwbaar?

Ze schakelt de steekproeffout uit, niet de meetfout. Een automatische analyse kan zich bij een criterium vergissen, en die fout geldt voor alle gesprekken. U moet haar dus kalibreren: laat menselijke beoordelaars een willekeurige steekproef van oordelen nalezen, criterium per criterium, en herschrijf de criteria waarop ze afwijkt. Een oordeel met zijn onderbouwing en de betrokken passages is in enkele seconden te controleren.

Hoeveel kost de analyse van 100% van de gesprekken?

Bij facturering op basis van gebruik zijn de kosten het aantal geanalyseerde minuten vermenigvuldigd met de prijs per minuut. Raisetalk factureert vanaf € 0,10 per geanalyseerde gespreksminuut, dus € 0,50 voor een gesprek van 5 minuten tegen het laagste tarief, zonder licentie en zonder minimale looptijd. Een handmatige beoordeling van hetzelfde gesprek kost in de orde van € 7,50 tot € 10 aan tijd van de beoordelaar.

Hoe voorkomt u dat u door alerts wordt overspoeld?

Door de alert gesprek per gesprek te reserveren voor wat een actie op het gesprek zelf vraagt, binnen de dag: een ernstige tekortkoming, een opzegdreiging, een klacht. Criteria die herhaaldelijk niet worden behaald, leest u als percentage per adviseur en per team, en procesproblemen in een geaggregeerd rapport. Tel vóór u een regel activeert hoeveel gesprekken van de vorige maand hem zouden hebben geactiveerd.

Aan de slag

Uw steekproef geeft u een schatting. Om te weten wat er in al uw gesprekken gebeurt, probeer Raisetalk op uw eigen gesprekken.