Analizzare il 100% delle chiamate: che cosa dice la statistica, e quanto costa davvero

Il 100% è un argomento, raramente un calcolo

La maggior parte delle pagine dedicate allo speech analytics segue lo stesso schema. Descrivono il passaggio dall'ascolto a campione all'analisi automatica di tutte le conversazioni, lo presentano come il vantaggio principale, poi passano alle funzionalità. Poche mostrano, numeri alla mano, perché il campione non basta.

Eppure il calcolo è alla portata di qualsiasi responsabile qualità. Dice due cose che l'argomento commerciale passa sotto silenzio: il campione abituale misura ancora meno di quanto si creda, e l'analisi di tutte le conversazioni non risolve tutti i problemi. Lo impostiamo qui su un caso tipo, lo stesso per tutto l'articolo:

• un contact center che gestisce 20.000 chiamate al mese;
• 50 consulenti suddivisi in cinque team da dieci, cioè circa 400 chiamate per consulente e 4.000 per team;
• un team qualità che ascolta tre chiamate per consulente al mese, cioè 30 chiamate per team e 150 per il centro;
• un criterio di conformità seguito da vicino: l'informazione al cliente sulla registrazione della chiamata.

Questi volumi sono quelli di molti centri. Se i vostri sono diversi, le tabelle che seguono danno gli ordini di grandezza per altre dimensioni del campione.

Il calcolo: che cosa misurano 30 chiamate

Il mese scorso, delle 30 chiamate ascoltate in un team, 24 contenevano l'informazione sulla registrazione. Tasso misurato: 80%.

Questo numero non è il tasso del team. È una stima, e la sua precisione si calcola. Con una confidenza del 95%, il tasso reale, quello che si otterrebbe ascoltando le 4.000 chiamate del team, si colloca tra il 63% e il 91%. Una forchetta di 28 punti, per un indicatore di cui poi si commenta ogni singolo punto.

Due osservazioni cambiano la lettura di questa tabella.

La dimensione del centro non conta quasi nulla. La precisione dipende dal numero di chiamate valutate, non dal numero di chiamate gestite. Trenta chiamate misurano male un team da 4.000 chiamate quanto un centro da 200.000.

Il monitoraggio individuale non ha una base statistica. Tre ascolti al mese classificano soprattutto il caso: un consulente a 2 su 3 e un collega a 3 su 3 non si distinguono. Anche cumulati su un anno, 36 ascolti lasciano una forchetta di 25 punti, ammesso che la pratica del consulente non sia cambiata in dodici mesi.

A partire da quale scarto un piano d'azione è fondato?

Il mese successivo, il team ottiene 21 su 30, cioè il 70%. Dieci punti di calo: il supervisore ricorda la regola, il comitato qualità chiede un piano d'azione.

Il test adatto al confronto di due piccoli campioni, il test esatto di Fisher, dà una probabilità di 0,55. In altre parole, se nel team non fosse cambiato nulla, si osserverebbe uno scarto almeno altrettanto grande più di una volta su due, per il solo effetto dell'estrazione. Il piano d'azione risponde a del rumore.

Perché il calo sia significativo alla soglia abituale del 5%, il team dovrebbe scendere da 24 a 15 chiamate conformi su 30, cioè dall'80% al 50%. Con 30 chiamate per periodo, si vedono solo i peggioramenti massicci.

La domanda si pone anche nell'altro senso: quante chiamate bisogna valutare in ogni periodo per avere buone probabilità, quattro su cinque, di rilevare un calo che esiste davvero?

Test bilaterale alla soglia del 5%, potenza statistica dell'80%, approssimazione normale.

Con 30 chiamate per periodo, si vedono solo le catastrofi. Gli scarti di pochi punti che commenta la maggior parte dei comitati qualità sono, su questi volumi, indistinguibili dal caso. Non è una critica ai team qualità: è il limite dello strumento che è stato dato loro.

La regola pratica che ne deriva sta in una domanda. Prima di avviare un piano d'azione su una variazione, chiedete su quante chiamate si basa ciascuno dei due numeri confrontati. Anche con un centinaio di chiamate per periodo, uno scarto inferiore a 14 punti non permette di concludere.

I difetti rari: ciò che il campione non vedrà

Il tasso medio non è sempre la domanda giusta. In materia di conformità, la domanda è spesso: succede, e dove? Una chiamata di telemarketing senza raccolta del consenso, una sottoscrizione in cui l'obbligo di consulenza non compare nello scambio, una menzione obbligatoria omessa.

Supponiamo una violazione presente nell'1% delle chiamate, cioè 40 chiamate al mese per un team e 200 per il centro.

• Tra le 30 chiamate ascoltate di un team, la probabilità di non trovarne nessuna è del 74%. Tre mesi su quattro, il team conclude che va tutto bene.
• Tra le 150 chiamate ascoltate per l'intero centro, questa probabilità è ancora del 22%, più di un mese su cinque.

E quando il campione non trova nulla, non prova granché. Zero violazioni su 150 chiamate restano compatibili, con una confidenza del 95%, con un tasso reale che arriva fino al 2%, cioè 400 chiamate non conformi al mese su 20.000. Zero sulle 30 chiamate di un team è compatibile con un tasso che arriva fino al 9,5%, cioè quasi 400 chiamate sulle 4.000 del team. È ciò che gli statistici chiamano la regola del tre: quando non si osserva alcun caso su n chiamate, il tasso reale può raggiungere circa 3 / n.

Quando il campione trova un caso, non dice dove sono gli altri. Constatare una violazione in una chiamata ascoltata significa apprendere che ne esistono verosimilmente decine, senza sapere quali. Per regolarizzare, richiamare i clienti interessati o rispondere a un controllo, servono proprio quelle chiamate, non una stima del loro numero.

Per una media bastano 400 chiamate: il 100% serve ad altro

Sarebbe disonesto fermarsi qui. Se l'unica domanda è il livello medio di un criterio sull'insieme del centro, un campione ben costruito basta: 400 chiamate estratte a caso danno il tasso con un margine di 4 punti, 1.000 chiamate con un margine di 2,5 punti. Ascoltare le 20.000 non aggiungerebbe quasi nulla a quella domanda.

A due condizioni, che i sistemi attuali soddisfano raramente:

• Il volume. Contando da 15 a 20 minuti per valutazione, 400 ascolti al mese occupano più o meno un valutatore a tempo pieno, per un solo indicatore del centro.
• Il caso. Un campione scelto non è un campione casuale. Le chiamate ascoltate sono spesso quelle che un supervisore ha individuato, quelle di una fascia oraria comoda, quelle oggetto di un reclamo, o quelle di un consulente che si vuole mettere in evidenza. Questo bias di selezione non si corregge ascoltando di più: 400 chiamate scelte male danno una stima sbagliata con grande precisione.

Il 100% non serve quindi anzitutto a stimare meglio una media. Serve a quattro cose che nessun campione ragionevole permette.

1. Misurare ogni consulente. Con 400 chiamate ciascuno, il tasso di un consulente si conosce con un margine di 4 punti ogni mese, anziché con una forchetta di 70 punti. Il debriefing verte allora su fatti accertati, passaggi alla mano, e non su tre chiamate estratte a sorte.
2. Trovare ogni difetto raro, anziché stimarne la frequenza.
3. Confrontare segmenti. Un motivo di chiamata, una sede, un outsourcer, una fascia oraria, una campagna: ogni incrocio richiede centinaia di chiamate. Trenta chiamate distribuite su cinque motivi ne lasciano sei per casella.
4. Ritrovare le chiamate su cui intervenire. Una stima dice «circa il 2% delle sottoscrizioni senza informazione sul diritto di recesso». L'analisi di tutte le chiamate dà l'elenco delle conversazioni interessate, con il passaggio in questione.

A questo si aggiunge la spiegazione. Collegare un comportamento del consulente a un esito raro, un reclamo o una vendita persa, richiede centinaia di conversazioni valutate sulla stessa griglia. È il lavoro della pagina «meccanica» del report di gestione, che confronta il tasso di un esito a seconda che il comportamento sia presente o assente, a parità di punteggio.

Ciò che il 100% non risolve

L'errore di misura sostituisce l'errore di campionamento

Su 20.000 chiamate, l'intervallo di confidenza si riduce a un punto. Ma misura solo l'errore dovuto all'estrazione. L'altra fonte di errore, quella dello strumento, resta intatta: un'analisi automatica può sbagliarsi su un criterio, e questo errore non diminuisce con il volume. Se l'analisi non riconosce l'informazione sulla registrazione nel 5% delle chiamate in cui è stata data, il tasso mostrato sarà del 76% anziché dell'80%, con una precisione di un punto. Una misura molto precisa di un criterio frainteso resta sbagliata.

I valutatori umani non sfuggono a questo problema. Due valutatori che ascoltano la stessa chiamata non danno sempre lo stesso verdetto, e i contact center chiamano calibrazione il lavoro che consiste nel ridurre questo scarto. Ma l'errore di un valutatore pesa solo sulle poche chiamate che ascolta, mentre quello di un'analisi automatica si applica a tutte.

Da qui una conseguenza poco intuitiva: il campione non scompare con il 100%, cambia ruolo. Non serve più a stimare la qualità dei consulenti, serve a controllare la misura. Una doppia lettura umana di un campione casuale di verdetti, criterio per criterio, dice dove l'analisi sbaglia e in quale direzione. Gli ordini di grandezza della prima tabella si applicano: circa 140 verdetti riletti bastano per stimare un tasso di accordo del 90% con un margine di 5 punti.

In Raisetalk, ogni verdetto è accompagnato dalla sua motivazione e dai passaggi della chiamata su cui si basa, il che rende rapida la rilettura. Una valutazione modificata da un responsabile conserva la lettura dell'IA accanto alla decisione umana, e il consulente può contestare un criterio: i disaccordi restano visibili, criterio per criterio. Il protocollo di calibrazione completo è descritto in dettaglio nel nostro metodo per passare al quality monitoring al 100%.

Il volume degli avvisi

Secondo effetto del 100%, più immediato: tutto ciò che era invisibile diventa visibile, nello stesso momento. Su 20.000 chiamate, un criterio non soddisfatto nel 5% dei casi produce 1.000 occorrenze al mese, una cinquantina per giorno lavorativo. Per un solo criterio. Se ognuna fa partire un'email, dopo una settimana nessuno le legge più, e il sistema ritrova, a un costo maggiore, la cecità del campione. In materia di conformità, la situazione è ancora peggiore: una violazione rilevata e poi lasciata senza seguito si giustifica difficilmente durante un controllo.

Lo smistamento si fa su un'unica domanda: chi può intervenire, su che cosa, ed entro quanto tempo? Separa tre circuiti.

• Ciò che richiede un intervento sulla chiamata stessa: una grave violazione di conformità, una minaccia di disdetta, un reclamo formale. Avviso immediato, chiamata per chiamata, indirizzato a una persona che può intervenire in giornata.
• Ciò che richiede un intervento sulla pratica di un consulente o di un team: un criterio non soddisfatto in modo ricorrente. Nessun avviso per chiamata, ma un tasso sul periodo, trattato durante il debriefing.
• Ciò che richiede un intervento sul processo: un motivo di chiamata in aumento, un comportamento assente ovunque, uno script che non funziona. Una constatazione aggregata, classificata, presentata alla direzione.

Un avviso chiamata per chiamata si giustifica solo se qualcuno può intervenire su quella precisa chiamata, rapidamente. Tutto il resto si legge come tasso. In Raisetalk, la modalità di invio si sceglie regola per regola, via email o con una semplice notifica nell'applicazione, consultabile nella pagina I miei avvisi. Il report di gestione, dal canto suo, classifica le sue constatazioni in base allo scarto osservato, alla gravità del criterio e al numero di conversazioni su cui ciascuna si basa, perché il grave e il massiccio passino davanti all'aneddotico.

Il costo reale: per conversazione valutata, non per postazione

Resta la domanda che spesso decide tutto. Due logiche di prezzo convivono su questo mercato:

• per postazione: un prezzo per utente al mese, indipendente dal volume. Il costo segue l'organico, non l'attività;
• a consumo: un prezzo per minuto di conversazione analizzata. Il costo segue il volume.

Per confrontare, funziona una sola unità: il costo per conversazione effettivamente valutata, come raccomanda la nostra griglia per la scelta di una soluzione.

Per una licenza per postazione, questo costo si ottiene dividendo il prezzo mensile della postazione per il numero di conversazioni del consulente. Uno stesso prezzo per postazione dà così un costo per conversazione tre volte più alto per un consulente che gestisce 150 chiamate al mese che per un collega che ne gestisce 450. Per confrontare con un'offerta al minuto, dividete il prezzo della postazione per il numero di minuti di conversazione mensili del consulente: ottenete il prezzo al minuto equivalente.

Per una fatturazione a consumo, questo costo si ottiene moltiplicando la durata media di una chiamata per il prezzo al minuto. Raisetalk fattura a partire da 0,10 € per minuto di conversazione analizzata, senza licenze, senza costi di attivazione né vincoli di durata, con pacchetti oltre un certo volume mensile. Al prezzo minimo, una chiamata di 5 minuti costa 0,50 €.

Dall'altra parte, la valutazione manuale. Valutare una chiamata di 5 minuti significa ascoltarla per intero, riascoltare i passaggi dubbi, compilare la griglia e redigere un commento: contiamo da 15 a 20 minuti. A un costo aziendale di 30 € l'ora, ipotesi da sostituire con la vostra, una valutazione manuale costa da 7,50 € a 10 €.

Due precisazioni, perché il confronto resti onesto.

• Il 100% non elimina il lavoro umano, lo sposta. Calibrazione della misura, gestione degli avvisi, debriefing, arbitrato delle contestazioni: il tempo del team qualità passa dall'ascolto all'azione. La tabella confronta costi di valutazione, non organici.
• Non tutti i minuti hanno bisogno di essere analizzati. Segreterie telefoniche, chiamate di pochi secondi, trasferimenti interni, linee di test: i connettori di telefonia di Raisetalk, come Aircall o Ringover, permettono di fissare una durata minima, di scegliere la direzione delle chiamate e di escludere linee o utenti. La fattura segue ciò che scegliete di analizzare.

Passare dal campione al 100%

Il calcolo dice perché il campione non basta. Non dice come farne a meno senza cadere nelle due trappole descritte sopra, la misura mal calibrata e la valanga di avvisi. Decidere che cosa si misura, riscrivere la griglia, calibrare, stabilire le priorità degli avvisi, definire il budget, riorientare il team qualità: le sei fasi sono descritte in dettaglio nel nostro metodo per passare al quality monitoring al 100%.

Domande frequenti

Quante chiamate bisogna ascoltare per misurare la qualità di un contact center?

Dipende dal livello e dalla precisione che si vogliono raggiungere. Per un tasso medio a livello di centro, da 250 a 400 chiamate estratte a caso danno una precisione da 4 a 5 punti. Per rilevare un calo di 10 punti da un mese all'altro, servono quasi 300 chiamate valutate per periodo. Per seguire ogni consulente, nessun ascolto manuale è sufficiente: con tre chiamate al mese, l'intervallo di confidenza copre più di 70 punti.

Perché analizzare il 100% delle chiamate anziché un campione?

Non per stimare meglio una media, che un campione casuale di 400 chiamate misura già correttamente. Il 100% serve a misurare ogni consulente su una base solida, a trovare i difetti rari, a confrontare segmenti come i motivi di chiamata o le sedi, e soprattutto a ritrovare le chiamate interessate per intervenire.

L'analisi automatica di tutte le chiamate è affidabile?

Elimina l'errore di campionamento, non l'errore di misura. Un'analisi automatica può sbagliarsi su un criterio, e questo errore si applica a tutte le chiamate. Bisogna quindi calibrarla: far rileggere a valutatori umani un campione casuale di verdetti, criterio per criterio, e riscrivere i criteri su cui diverge. Un verdetto accompagnato dalla sua motivazione e dai passaggi interessati si verifica in pochi secondi.

Quanto costa analizzare il 100% delle chiamate?

Con una fatturazione a consumo, il costo è il numero di minuti analizzati moltiplicato per il prezzo al minuto. Raisetalk fattura a partire da 0,10 € per minuto di conversazione analizzata, cioè 0,50 € per una chiamata di 5 minuti al prezzo minimo, senza licenze né vincoli di durata. Una valutazione manuale della stessa chiamata costa tra 7,50 € e 10 € circa in tempo del valutatore.

Come evitare di essere sommersi dagli avvisi?

Riservando l'avviso chiamata per chiamata a ciò che richiede un intervento sulla chiamata stessa, in giornata: una violazione grave, una minaccia di disdetta, un reclamo. I criteri non soddisfatti in modo ricorrente si leggono come tassi per consulente e per team, e i problemi di processo in un report aggregato. Prima di attivare una regola, contate quante chiamate del mese precedente l'avrebbero fatta scattare.

Per cominciare

Il vostro campione vi dà una stima. Per sapere che cosa succede in tutte le vostre chiamate, provate Raisetalk sulle vostre conversazioni.