L'essenziale sul passaggio al quality monitoring al 100%
- Passare dall'ascolto a campione all'analisi di tutte le chiamate cambia il metodo, non solo lo strumento. Ciò che era raro diventa massiccio, ciò che era stimato diventa contato, e una griglia pensata per l'orecchio di un valutatore non può essere letta così com'è da una macchina.
- Sei fasi: decidere che cosa misurate e a quale livello, riscrivere la griglia per una lettura automatica, calibrare l'analisi rispetto ai vostri valutatori, stabilire le priorità prima di attivare gli avvisi, definire il budget al minuto, riorientare il team qualità.
- La calibrazione è la fase che si salta più spesso. Circa 140 verdetti riletti bastano per stimare con un margine di 5 punti l'accordo tra l'analisi e i vostri valutatori su un criterio. Il riferimento giusto non è il 100% di accordo, è l'accordo dei vostri valutatori tra loro.
- Un avviso chiamata per chiamata si giustifica solo se qualcuno può intervenire su quella chiamata in giornata. Il resto si legge come tasso, durante il debriefing o in un report.
- Il team qualità non scompare. Il suo tempo passa dall'ascolto alla calibrazione, al debriefing e all'azione, e i consulenti devono sapere che cosa viene misurato e come contestarlo.
Un cambio di metodo, non solo di strumento
Ascoltare tre chiamate per consulente al mese non misura quasi nulla. Su 30 chiamate, un tasso di conformità dell'80% ha un intervallo di confidenza che va dal 63% al 91%, uno scarto di dieci punti da un mese all'altro compare più di una volta su due anche quando non è cambiato nulla, e una violazione presente nell'1% delle chiamate passa inosservata tre mesi su quattro. Il dettaglio di questi calcoli, e di quanto costa l'alternativa, è nel nostro articolo Analizzare il 100% delle chiamate: che cosa dice la statistica, e quanto costa davvero.
L'analisi automatica di tutte le conversazioni elimina questo limite. Ma collegare un'analisi a una griglia concepita per l'ascolto, e degli avvisi a tutti i suoi criteri, crea altri problemi: criteri che la macchina legge male, punteggi che i consulenti contestano, centinaia di avvisi che nessuno gestisce. Le sei fasi che seguono servono a evitarli.
| Fase | La domanda a cui rispondere | Che cosa ne esce |
|---|---|---|
| 1. Decidere che cosa misurate | A quale livello serve un numero affidabile? | L'elenco degli indicatori, con il loro livello e la decisione a cui servono |
| 2. Riscrivere la griglia | Ogni criterio si decide in base a ciò che è stato detto? | Una griglia di criteri osservabili |
| 3. Calibrare la misura | L'analisi giudica come i vostri valutatori? | Un tasso di accordo per criterio, e una decisione per criterio |
| 4. Stabilire le priorità degli avvisi | Chi interviene, su che cosa, entro quanto tempo? | Tre circuiti: la chiamata, la persona, il processo |
| 5. Definire il budget al minuto | Quali minuti bisogna davvero analizzare? | Un perimetro, un volume, un costo per conversazione |
| 6. Riorientare il team qualità | Che cosa diventa il tempo dedicato all'ascolto? | Un nuovo ritmo di lavoro, noto ai consulenti |
Fase 1: decidere che cosa misurate, e a quale livello
Prima di toccare lo strumento, fate l'elenco di ciò che volete sapere e, per ogni indicatore, del livello a cui deve essere affidabile: il centro, il team, il consulente, il segmento o la chiamata stessa. È questo livello a dire se il 100% è necessario.
| Che cosa volete sapere | Livello | Che cosa bisogna valutare |
|---|---|---|
| Il nostro tasso medio di conformità migliora? | Il centro | Un campione casuale di 400 chiamate può bastare |
| Quali consulenti affiancare in via prioritaria? | Il consulente | Tutte le sue chiamate |
| Quale motivo di chiamata concentra i reclami? | Il segmento | Tutte le chiamate di quel motivo |
| Quali clienti richiamare per sanare una violazione? | La chiamata | Tutte le chiamate |
Per ogni riga, annotate la decisione a cui l'indicatore deve servire: formare, affiancare, correggere uno script, regolarizzare, allertare la direzione. Un indicatore che non serve ad alcuna decisione non ha posto nella griglia, e produrrà avvisi che nessuno leggerà.
Fase 2: riscrivere la griglia per una lettura automatica
Una griglia concepita per l'ascolto si affida al giudizio del valutatore. «Ha dimostrato empatia», «buona padronanza dell'offerta», «discorso fluido»: già due valutatori non vi rispondono sempre allo stesso modo, e un'analisi automatica non ha nulla di preciso da cercare nella trascrizione. Ogni criterio deve potersi decidere in base a ciò che è stato detto.
| Criterio d'ascolto | Criterio riscritto per una lettura automatica |
|---|---|
| Il consulente dimostra empatia. | Se il cliente descrive una conseguenza concreta del problema per sé, il consulente ne tiene conto nella soluzione che propone. |
| Buona padronanza dell'offerta. | Il cliente pone una domanda sull'offerta a cui il consulente non dà risposta. |
| Rispetto delle menzioni legali. | Il consulente informa il cliente che la chiamata è registrata, prima di affrontare l'oggetto della chiamata. |
Quattro regole bastano nella maggior parte dei casi:
- un solo argomento per criterio, perché un verdetto «non soddisfatto» dica con precisione che cosa è mancato;
- un fatto osservabile nello scambio, non un'impressione né uno stato interiore attribuito al consulente o al cliente;
- una condizione esplicita quando la situazione non è sistematica: un criterio che comincia con «Se», «Quando» o «Qualora» vale N/A quando la situazione non si presenta, anziché penalizzare la chiamata;
- la conformità separata dai rituali, e gli esiti della chiamata seguiti fuori dal punteggio.
Queste regole sono sviluppate nel nostro articolo sul quality monitoring procedurale o relazionale. In Raisetalk, un criterio che non aggiunge né toglie punti conserva il proprio verdetto senza incidere sul punteggio: resta filtrabile, alimenta il reporting e può attivare un avviso.
Fase 3: calibrare la misura prima di pubblicare un punteggio
È la fase saltata più spesso, e la più costosa da recuperare. Un'analisi automatica può sbagliarsi su un criterio, e il suo errore si applica a tutte le chiamate. Su 20.000 chiamate, un criterio frainteso dà un tasso sbagliato con una precisione di un punto. E un punteggio individuale pubblicato prima di essere stato verificato viene contestato, a ragione, e poi perde credibilità in modo duraturo.
La calibrazione consiste nel confrontare l'analisi con i vostri valutatori, criterio per criterio, su un campione estratto a caso. Il campione non scompare con il 100%: cambia ruolo. Non serve più a stimare la qualità dei consulenti, serve a controllare la misura.
Il protocollo
- Estraete a caso chiamate già analizzate. A caso, non tra le chiamate segnalate o contestate: altrimenti misurate l'analisi sui suoi casi più difficili e la giudicate peggiore di quanto non sia.
- Fatele valutare da due valutatori, alla cieca. Nessuno dei due vede il verdetto dell'analisi né quello del collega.
- Confrontate, criterio per criterio: l'accordo dei due valutatori tra loro, poi l'accordo dell'analisi con ciascuno di essi.
- Leggete la direzione dei disaccordi. Un'analisi più severa o più indulgente dei vostri valutatori sposta tutti i tassi nella stessa direzione. Disaccordi sparsi, nei due sensi, falsano poco i tassi ma pesano sui punteggi individuali.
- Decidete criterio per criterio: messa in produzione, riscrittura o valutazione manuale.
- Ricominciate ogni mese su un piccolo campione, e a ogni modifica della griglia.
Quanti verdetti rileggere
| Accordo atteso | Precisione desiderata | Verdetti da rileggere, per criterio |
|---|---|---|
| 90% | 5 punti | circa 140 |
| 90% | 3 punti | circa 390 |
| 95% | 3 punti | circa 200 |
Per un criterio condizionale, contano solo le chiamate in cui la situazione si è presentata. Un criterio che si applica a una chiamata su cinque richiede quindi di estrarre circa 700 chiamate per ottenere 140 verdetti utili.
La soglia giusta non è il 100%
Il riferimento non è l'accordo perfetto, che nemmeno i vostri valutatori raggiungono tra loro. Se l'analisi concorda con ciascuno dei vostri valutatori tanto spesso quanto essi concordano tra loro, giudica quel criterio con una regolarità almeno pari a quella del vostro team, e lo fa su tutte le chiamate.
Diffidate del tasso di accordo grezzo sui criteri quasi sempre soddisfatti. Se un criterio è soddisfatto nel 98% delle chiamate, un'analisi che rispondesse «soddisfatto» ogni volta concorderebbe con i vostri valutatori 98 volte su 100 senza rilevare nulla. Guardate piuttosto i casi minoritari: tra le chiamate in cui i vostri valutatori giudicano il criterio non soddisfatto, quante ne ha individuate anche l'analisi? Gli statistici correggono questo bias con il kappa di Cohen, che sottrae l'accordo dovuto al caso.
Che cosa decidete per ogni criterio
- Messa in produzione quando l'accordo è al livello di quello dei vostri valutatori, senza un bias marcato in una direzione.
- Riscrittura quando i disaccordi si concentrano su una formulazione ambigua: due idee nello stesso criterio, una parola che ognuno intende a modo suo, una condizione implicita. Prima di mettere in campo la nuova versione, fatela girare su chiamate già valutate grazie alla rivalutazione con un'altra griglia.
- Valutazione manuale quando il criterio richiede un'informazione assente dallo scambio, o un giudizio che volete mantenere umano. Un criterio può essere riservato alla valutazione manuale, accanto all'analisi automatica: è il principio dell'analisi ibrida.
In Raisetalk, ogni verdetto è accompagnato dalla sua motivazione e dai passaggi della chiamata su cui si basa: un valutatore verifica un verdetto in pochi secondi anziché riascoltare la chiamata. Una volta che la griglia è in produzione, una valutazione modificata da un responsabile conserva la lettura dell'IA accanto alla decisione umana, e ogni contestazione di un criterio da parte di un consulente viene tracciata. I criteri che ricorrono spesso in queste correzioni sono i primi da ricalibrare.
Fase 4: stabilire le priorità prima di accendere gli avvisi
Il 100% rende visibile d'un colpo tutto ciò che era invisibile. Su 20.000 chiamate al mese, un criterio non soddisfatto nel 5% dei casi produce una cinquantina di occorrenze per giorno lavorativo. Se ognuna fa partire un'email, dopo una settimana nessuno le legge più.
La regola da stabilire prima di attivare anche un solo avviso: un avviso chiamata per chiamata si giustifica solo se qualcuno può intervenire su quella precisa chiamata, in giornata. Il resto si legge come tasso.
| Circuito | Che cosa lo fa scattare | Forma | Destinatario e tempi |
|---|---|---|---|
| La chiamata | Grave violazione di conformità, minaccia di disdetta, reclamo formale | Avviso immediato, via email | Una persona designata, che interviene in giornata |
| La persona | Criterio non soddisfatto in modo ricorrente da un consulente o da un team | Tasso sul periodo, notifiche consultabili con i propri tempi | Il manager, al debriefing successivo |
| Il processo | Motivo di chiamata in aumento, comportamento assente ovunque, script che non funziona | Constatazione aggregata e classificata | La direzione, nel report mensile |
Tre pratiche evitano la valanga:
- Contare prima di attivare. Filtrate le conversazioni del mese precedente sul criterio in questione: il loro numero è il volume di avvisi che la regola avrebbe prodotto. Se supera ciò che il destinatario può gestire nella sua giornata, la regola appartiene a un altro circuito.
- Partire con pochi avvisi immediati. Due o tre regole via email all'avvio, riservate al primo circuito. Le altre regole notificano senza interrompere, e rivedete il sistema dopo qualche settimana, alla luce di ciò che è stato letto e gestito.
- Dare a ogni regola il nome di ciò che segnala. «Registrazione non annunciata sulla griglia Vendita» si legge con un colpo d'occhio, «Avviso 3» molto meno.
In Raisetalk, la modalità di invio si sceglie regola per regola: Notifica via email per ciò che deve interrompere, Notifica in Raisetalk per ciò che deve solo essere visto, nella pagina I miei avvisi, che conserva tutti gli avvisi scattati e ciò che è stato letto. Questa pagina, come un report analitico, può essere oggetto di un invio programmato: una sintesi periodica anziché un flusso continuo. Per il terzo circuito, il report di gestione classifica le sue constatazioni in base allo scarto osservato, alla gravità del criterio e al numero di conversazioni su cui ciascuna si basa.
Fase 5: definire il budget al minuto
Con una fatturazione a consumo, il budget si costruisce in tre righe.
- Il volume lordo: numero di chiamate al mese moltiplicato per la loro durata media. 20.000 chiamate da 5 minuti fanno 100.000 minuti.
- Ciò che non è utile analizzare: segreterie telefoniche, chiamate di pochi secondi, trasferimenti interni, linee di test. I connettori di telefonia di Raisetalk, come Aircall o Ringover, permettono di fissare una durata minima, di scegliere la direzione delle chiamate e di escludere linee o utenti.
- Il prezzo al minuto: Raisetalk fattura a partire da 0,10 € per minuto di conversazione analizzata, senza licenze né vincoli di durata, con pacchetti oltre un certo volume mensile.
Riportate poi il totale a un costo per conversazione valutata, l'unica unità che permetta di confrontare una fatturazione a consumo, una licenza per postazione e il costo dell'ascolto manuale. Per una licenza per postazione, dividete il prezzo mensile della postazione per il numero di minuti di conversazione del consulente: ottenete il prezzo al minuto equivalente. Gli ordini di grandezza, tra cui il costo di una valutazione manuale, sono descritti in dettaglio nel nostro calcolo del costo dell'analisi del 100% delle chiamate.
Cominciate da un perimetro, non dall'intero centro. Un team o un tipo di chiamata, per esempio le disdette o i reclami, per un mese. Il primo mese serve a calibrare e a regolare gli avvisi: il budget del progetto pilota è quello dei minuti di questo perimetro, e l'estensione si decide sui numeri.
Fase 6: riorientare il team qualità, e informare i consulenti
Il passaggio al 100% non elimina il lavoro del team qualità, ne cambia la natura.
| Attività | Con l'ascolto a campione | Con l'analisi di tutte le chiamate |
|---|---|---|
| Ascoltare e valutare chiamate | La maggior parte del tempo | La calibrazione mensile di un campione estratto a caso |
| Scegliere le chiamate da ascoltare | Ogni settimana | Non più necessario: tutte le chiamate sono valutate |
| Preparare un debriefing | A partire da tre chiamate | A partire da tutte le chiamate del consulente, passaggi alla mano |
| Gestire gli avvisi | Per caso, durante gli ascolti | Secondo i circuiti della fase 4 |
| Spiegare uno scarto | Impossibile su 30 chiamate | A partire dal report di gestione |
| Far evolvere la griglia | Raramente, per mancanza di misure | Alla luce della calibrazione e delle contestazioni |
Il tempo liberato va anzitutto al debriefing, che diventa il cuore del mestiere: un consulente progredisce su esempi tratti dalle proprie chiamate, non su un punteggio.
Resta da informare i consulenti, e non è una formalità. In Francia, nessuna informazione che riguardi personalmente un dipendente può essere raccolta tramite un dispositivo che non sia stato portato preventivamente a sua conoscenza (articolo L1222-4 del Codice del lavoro francese), e il comité social et économique (CSE), l'organo di rappresentanza dei lavoratori in Francia, viene informato e consultato, prima della loro attuazione, sui mezzi che permettono un controllo dell'attività dei dipendenti (articolo L2312-38). Al di là dell'obbligo, tre cose da dire chiaramente:
- che cosa viene misurato: comportamenti osservati nello scambio e fatti verificabili, mai un'emozione né uno stato interiore;
- come contestare: un verdetto è sempre accompagnato dalla sua motivazione e dai passaggi interessati, e un consulente può proporre il valore che ritiene corretto;
- chi vede che cosa: i ruoli e i permessi di accesso limitano ogni lettore al proprio perimetro.
I cinque errori più frequenti
- Collegare la griglia d'ascolto così com'è, senza riscrivere i criteri che si basavano sul giudizio del valutatore.
- Pubblicare punteggi individuali prima di aver calibrato l'analisi.
- Attivare un avviso via email per ogni criterio.
- Classificare i consulenti in base a un punteggio che dipende anche da ciò che non controllano, come il motivo della chiamata o una decisione commerciale presa altrove.
- Ridurre il team qualità anziché riorientarlo: la misura si degrada appena nessuno la verifica più.
I termini chiave
- Quality monitoring al 100%: valutazione automatica di tutte le conversazioni di un perimetro su una griglia di criteri, in sostituzione dell'ascolto a campione
- Calibrazione: confronto tra i verdetti dell'analisi automatica e quelli di valutatori umani, criterio per criterio, per verificare che la misura sia affidabile e correggerla
- Doppia lettura alla cieca: valutazione di una stessa chiamata da parte di due persone che non vedono né il verdetto dell'altra né quello dell'analisi
- Kappa di Cohen: misura dell'accordo tra due valutatori che sottrae la quota di accordo dovuta al caso
- Criterio condizionale: criterio che si applica solo se nello scambio si presenta una situazione precisa, e che altrimenti vale N/A
- Circuito di avviso: percorso seguito da una constatazione in base a ciò che richiede: un intervento sulla chiamata, su una persona o sul processo
Domande frequenti
Come passare dall'ascolto a campione all'analisi del 100% delle chiamate?
In sei fasi: decidere che cosa misurate e a quale livello, riscrivere la griglia in criteri osservabili, calibrare l'analisi rispetto ai vostri valutatori, organizzare gli avvisi in tre circuiti, definire il budget al minuto su un primo perimetro, poi riorientare il team qualità verso la calibrazione, il debriefing e l'azione. Informate i consulenti e, in Francia, consultate il CSE, se esiste, prima dell'attuazione.
Bisogna mantenere valutatori umani quando l'IA analizza tutte le chiamate?
Sì. Non servono più ad ascoltare chiamate a caso, ma a verificare la misura, ad arbitrare le contestazioni, a preparare i debriefing e a far evolvere la griglia. Senza una calibrazione regolare, un'analisi automatica può deviare su un criterio senza che nessuno se ne accorga.
Quante chiamate rileggere per calibrare un'analisi automatica?
Circa 140 verdetti per criterio per stimare un tasso di accordo del 90% con un margine di 5 punti, e circa 390 per una precisione di 3 punti. Per un criterio condizionale, contano solo le chiamate in cui la situazione si è presentata: bisogna allora estrarre più chiamate.
Come evitare di essere sommersi dagli avvisi di qualità?
Riservando l'avviso immediato a ciò che richiede un intervento sulla chiamata stessa in giornata, e leggendo il resto come tasso, durante il debriefing o in un report. Prima di attivare una regola, contate quante chiamate del mese precedente l'avrebbero fatta scattare: è il volume che produrrà.
Bisogna informare i consulenti dell'analisi automatica delle loro chiamate?
Sì. In Francia, un dipendente deve essere informato preventivamente di qualsiasi dispositivo che raccolga informazioni che lo riguardano, e il comité social et économique (CSE) viene consultato prima dell'attuazione di un mezzo di controllo dell'attività. Spiegare che cosa viene misurato, come contestare un verdetto e chi vede che cosa riduce anche le contestazioni.
Per cominciare
Il primo mese si gioca su un perimetro e una griglia. Provate Raisetalk sulle vostre conversazioni, e calibrate sulle vostre chiamate prima di decidere.
