L'essenziale sulla calibrazione di una griglia di valutazione
- Una griglia di valutazione della qualità si calibra, non si scrive di getto. Finché un criterio non è stato applicato a conversazioni reali, nessuno sa davvero che cosa misuri.
- La rivalutazione chiude il cerchio: riapplicate una griglia in costruzione a conversazioni che conoscete già, tutte le volte che serve, senza reimportazione.
- La valutazione esistente non viene mai toccata. La rivalutazione aggiunge accanto una seconda valutazione, con il proprio punteggio e il proprio storico.
- Viene rifatturata solo l'analisi dei criteri. Trascrizione, riassunti ed etichette vengono ripresi così come sono.
- Una revisione del modello di valutazione si misura prima di adottarla: rivalutate qualche conversazione con la nuova griglia, confrontate il risultato con la vecchia e decidete sulla base dei numeri anziché di un'intuizione.
Una griglia di valutazione della qualità non si scrive, si calibra
Chiedete a un responsabile qualità come ha costruito il suo modello di valutazione. Raramente vi racconterà una sessione di scrittura. Vi racconterà mesi di aggiustamenti: un criterio troppo vago che dava sempre lo stesso verdetto, una ponderazione che schiacciava tutto il resto, una formulazione che per lui voleva dire una cosa e per i suoi valutatori un'altra.
Questa griglia è la base di qualsiasi sistema di quality monitoring: è lei a decidere che cosa viene misurato, e quindi su che cosa si baseranno poi la gestione operativa e il coaching. Con una griglia applicata da un'IA, il lavoro di calibrazione non scompare. Si sposta. La domanda non è più «i miei valutatori interpretano questo criterio allo stesso modo?», ma «questo criterio, così come l'ho formulato, rileva davvero ciò che cerco?». E c'è un solo modo per rispondere: applicarlo a conversazioni reali, e poi leggere che cosa ne dice.
È ciò che permette la rivalutazione. Dalla scheda di una conversazione create una seconda valutazione, sulla griglia che preferite, compresa quella che state scrivendo.
Il ciclo breve: scrivere, mettere alla prova, correggere
In pratica, la messa a punto di una griglia funziona così.
Scegliete alcune conversazioni di riferimento, cinque o dieci, che conoscete a memoria. Una chiamata eccellente, una pessima, due o tre casi limite: quelle di cui sapete già che cosa dovrebbe dire il punteggio.
Scrivete una prima versione della griglia, poi la lanciate su queste conversazioni. Non guardate solo il punteggio. Aprite ogni criterio e leggete la motivazione prodotta dall'analisi: la frase che spiega perché il criterio è stato considerato soddisfatto o no, con il passaggio della conversazione che l'ha determinato. È lì che si vede un criterio formulato male. Il verdetto può essere giusto per una ragione sbagliata, o sbagliato per una ragione che salta all'occhio appena leggete la spiegazione.
Correggete l'asserzione nella vostra libreria di criteri e rilanciate la stessa griglia sulle stesse conversazioni. È per questo che la rivalutazione accetta esplicitamente una griglia già utilizzata: non è un caso particolare tollerato, è il modo di lavorare principale.
Poiché ogni passaggio crea una valutazione distinta, conservate le versioni successive una accanto all'altra: vedete l'effetto della vostra correzione invece di supporlo.
Una buona pratica per le vostre prove. Le valutazioni di prova contano nei vostri indicatori come le altre. Una volta stabilizzata la griglia, disattivate le valutazioni di prova: spariscono dal reporting e dalle esportazioni, pur restando consultabili. Potete anche escluderle al volo grazie al filtro dell'elenco delle conversazioni, descritto più avanti.
Rivedere il proprio modello di valutazione senza navigare alla cieca
Il ciclo breve vale per un criterio. Lo stesso meccanismo cambia la natura di un cantiere ben più impegnativo: la revisione di un modello di valutazione della qualità.
Rivedere una griglia significa accettare una rottura nel proprio sistema di quality monitoring. I punteggi di prima e di dopo non sono più confrontabili, e la domanda che sorge subito in comitato di direzione è sempre la stessa: sono peggiorati i nostri consulenti, o è la griglia a essere più severa? Senza un termine di paragone, nessuno sa rispondere.
La rivalutazione permette di preparare il passaggio sulla base dei numeri. Prendete un campione di conversazioni già valutate con la vecchia griglia, le rivalutate con la nuova e leggete lo scarto. Uno scarto di quindici punti sullo stesso campione non dice che il livello del contact center è peggiorato: dice che il vostro nuovo modello di valutazione è più esigente di quindici punti. Conoscete il vostro nuovo punto di partenza prima di aver cambiato qualsiasi cosa.
Questo lavoro è possibile perché la rivalutazione non sovrascrive nulla. La vecchia valutazione resta intatta, lo storico della vostra gestione operativa non cambia, e le due valutazioni portano la data della chiamata originale, il che le mantiene confrontabili su uno stesso periodo.
Un esempio: le chiamate brevi
In un contact center outbound, una parte considerevole delle chiamate dura meno di un minuto: segreterie telefoniche, filtri di assistenti e centralini, numeri sbagliati, rifiuti immediati. Valutarle con una griglia pensata per un colloquio completo non ha alcun senso. Quasi tutti i criteri risultano non applicabili o meccanicamente non soddisfatti, e il consulente viene penalizzato per una situazione che non controlla.
Costruire una griglia breve per queste chiamate è una tipica revisione parziale. E la domanda che decide tutto è empirica: sulle mie chiamate di meno di un minuto, questa griglia di venti criteri produce un punteggio che vuol dire qualcosa? Lo si scopre solo applicandola a vere chiamate brevi, già analizzate, di cui si conosce già il verdetto della griglia lunga.
Concretamente, come si rivaluta una conversazione?
Dalla scheda di una conversazione, nella barra delle azioni del blocco Analisi, un'icona a forma di diramazione apre la finestra di rivalutazione. Lì scegliete la griglia di destinazione tra tutte le griglie attive della vostra organizzazione, con il rispettivo numero di criteri. Le griglie già utilizzate da un'altra valutazione della conversazione restano proposte, semplicemente segnalate come tali.
Un commento di motivazione è obbligatorio. Non è una formalità: una rivalutazione crea una valutazione aggiuntiva e consuma crediti di analisi. Questo commento spiega perché è stato richiesto questo secondo passaggio, e resta consultabile in seguito, il che è prezioso quando si susseguono le prove su una griglia in costruzione.
La nuova valutazione compare immediatamente, con i suoi criteri in corso di analisi e un conto alla rovescia che aggiorna la schermata da solo. Qualche decina di secondi dopo, il punteggio è pronto.
Il pulsante resta disattivato finché l'analisi originale non è del tutto conclusa: una rivalutazione riprende i riassunti e le etichette della conversazione, quindi è necessario che esistano.
Che cosa non viene rieseguito, e che cosa cambia
È ciò che rende il ciclo di prove economicamente ragionevole.
| Fase dell'analisi | Rieseguita? | Perché |
|---|---|---|
| Trascrizione | No | Il testo dello scambio non dipende dalla griglia |
| Riassunti e segnali del cliente | No | Ricopiati così come sono, senza una nuova chiamata al modello |
| Etichette | No | Si configurano a livello dell'organizzazione, non della griglia |
| Prosodia | No | La misura riguarda l'audio, non il modello di valutazione |
| Criteri e asserzioni | Sì | È esattamente ciò che la griglia definisce |
Una rivalutazione costa quindi solo le asserzioni della griglia scelta. Su una griglia breve di una ventina di criteri, è una frazione del costo di un'analisi completa, senza paragone con una reimportazione che farebbe pagare di nuovo la trascrizione. Tre giri di prova su dieci conversazioni di riferimento restano una spesa modesta rispetto a un modello di valutazione che si userà per due anni.
Ogni valutazione ha la propria fatturazione, consultabile nel pannello dedicato.
Due valutazioni, due vite
Una rivalutazione non è una variante né un'appendice. È una valutazione a tutti gli effetti.
Ha il proprio punteggio, calcolato sui criteri della sua griglia. Ha il proprio debriefing, che il manager apre e chiude in modo indipendente. Può essere contestata dal consulente come l'altra, perché un punteggio che conta deve poter essere oggetto di un diritto di replica. Ha il proprio storico delle versioni. E può essere disattivata senza toccare la valutazione da cui deriva, che è esattamente ciò che si vuole fare con una serie di prove.
Questa autonomia arriva fino ai file: la rivalutazione possiede la propria copia della registrazione e della trascrizione. Un'eliminazione applicata all'una non può mai intaccare l'altra.
Un banner collega le valutazioni di una stessa conversazione, indicando per ciascuna la data, la griglia, il punteggio e la motivazione che l'ha originata. Con un clic si passa dall'una all'altra.
Una conversazione la cui registrazione è stata eliminata resta rivalutabile. L'eliminazione dell'audio e quella della trascrizione sono due impostazioni distinte. Finché la trascrizione esiste, l'analisi può essere rieseguita: lavora sul testo, non sul suono.
Leggere il proprio reporting durante una fase di prova
Due valutazioni contano per due negli indicatori. Durante una campagna di test di una griglia, è un effetto di cui bisogna essere consapevoli.
Due salvaguardie. Ogni valutazione confluisce nel reporting della propria griglia, quindi un filtro per griglia separa naturalmente le vostre prove dalla vostra gestione operativa corrente. E l'elenco delle conversazioni propone un filtro a due gruppi: da un lato gli stati del debriefing, dall'altro il perimetro delle valutazioni, con quattro scelte che incrociano originale e rivalutazione, attivo e disattivato. Visualizzate ciò che volete misurare, e l'esportazione riprende esattamente lo stesso perimetro.
Nell'elenco, una rivalutazione si riconosce dalla sua icona a forma di diramazione, al posto del consueto indicatore di avanzamento.
La tracciabilità, per costruzione
La rivalutazione entra a far parte della famiglia delle azioni di supervisione umana che inquadrano il quality monitoring di Raisetalk: modificare una valutazione, contestarla, disattivarla, farne il debriefing. Tutte rispondono allo stesso principio: l'IA propone, l'uomo dispone, e la piattaforma conserva traccia di chi ha deciso che cosa.
Qui questa traccia assume tre forme. La valutazione originale non viene mai modificata, qualunque cosa accada alla nuova. La motivazione viene archiviata come prima versione della rivalutazione, con il suo autore e la sua marca temporale. E questa prima versione contiene un'istantanea completa della valutazione da cui deriva: aprendo lo storico di una rivalutazione, vedete da dove viene, nello stato esatto in cui si trovava al momento dell'azione.
La rivalutazione è infine protetta da un permesso dedicato, «Rivalutare una conversazione», nella famiglia Conversazioni della matrice dei ruoli e permessi. È concesso per impostazione predefinita agli amministratori, e potete estenderlo ad altri ruoli in base alla vostra organizzazione.
Per iniziare
- Scegliete da tre a cinque conversazioni di riferimento, di cui conoscete già il verdetto atteso.
- Aprite la scheda di una di esse e cliccate sull'icona a forma di diramazione nella barra delle azioni del blocco Analisi.
- Selezionate la griglia che state costruendo e annotate in poche parole l'ipotesi che state verificando.
- Leggete le motivazioni criterio per criterio, non solo il punteggio. Correggete le vostre asserzioni, poi rilanciate la stessa griglia.
E domani: più griglie fin dall'importazione?
Una domanda torna non appena si usano più griglie su una stessa conversazione: perché non applicare fin da subito due modelli di valutazione a ogni chiamata, per esempio uno commerciale e l'altro orientato alla conformità?
È una buona domanda, e la rivalutazione non ne è la risposta. Un'esigenza sistematica richiede una risposta sistematica: la possibilità di indicare più griglie al momento dell'integrazione o dell'importazione, perché ogni conversazione arrivi con le sue due letture, senza alcuna azione manuale. Precisiamo peraltro che un unico modello di valutazione ben costruito copre spesso molto bene due dimensioni alla volta, e che servono ragioni concrete, due destinatari distinti e due piani d'azione separati, per giustificarne la separazione.
La rivalutazione, invece, risponde a un'esigenza diversa e perfettamente complementare: l'azione puntuale, decisa a posteriori, su una conversazione precisa. Mettere alla prova una griglia, preparare una revisione, impostare un debriefing mirato, correggere un errore. È già molto, ed è disponibile oggi.
