Lo esencial sobre el paso a un quality monitoring al 100%
- Pasar de la escucha por muestreo al análisis de todas las llamadas cambia el método, no solo la herramienta. Lo que era raro se vuelve masivo, lo que se estimaba pasa a contarse, y una rejilla pensada para el oído de un evaluador no puede leerla tal cual una máquina.
- Seis etapas: decidir qué mide y a qué nivel, reescribir la rejilla para una lectura automática, calibrar el análisis con sus evaluadores, jerarquizar antes de activar las alertas, presupuestar por minuto, redesplegar el equipo de calidad.
- La calibración es la etapa que más a menudo se omite. Unos 140 veredictos revisados bastan para estimar con un margen de 5 puntos el acuerdo entre el análisis y sus evaluadores sobre un criterio. La referencia correcta no es un 100% de acuerdo, es el acuerdo de sus evaluadores entre sí.
- Una alerta llamada por llamada solo se justifica si alguien puede actuar sobre esa llamada en el día. Lo demás se lee en tasas, en el debrief o en un informe.
- El equipo de calidad no desaparece. Su tiempo pasa de la escucha a la calibración, al debrief y a la acción, y los asesores deben saber qué se mide y cómo impugnarlo.
Un cambio de método, no solo de herramienta
Escuchar tres llamadas por asesor y por mes no mide casi nada. Sobre 30 llamadas, una tasa de conformidad del 80% tiene un intervalo de confianza que va del 63% al 91%, una diferencia de diez puntos de un mes a otro aparece más de una vez de cada dos incluso cuando nada ha cambiado, y un incumplimiento presente en el 1% de las llamadas pasa desapercibido tres meses de cada cuatro. El detalle de estos cálculos, y de lo que cuesta la alternativa, está en nuestro artículo Analizar el 100% de las llamadas: lo que dice la estadística, y lo que cuesta realmente.
El análisis automático de todas las conversaciones elimina esta limitación. Pero conectar un análisis a una rejilla concebida para la escucha, y alertas a todos sus criterios, crea otros problemas: criterios que la máquina lee mal, notas que los asesores impugnan, cientos de alertas que nadie trata. Las seis etapas que siguen están ahí para evitarlos.
| Etapa | La pregunta que resolver | Lo que se obtiene |
|---|---|---|
| 1. Decidir qué mide | ¿A qué nivel hace falta una cifra fiable? | La lista de indicadores, con su nivel y la decisión a la que sirven |
| 2. Reescribir la rejilla | ¿Se puede decidir cada criterio a partir de lo que se ha dicho? | Una rejilla de criterios observables |
| 3. Calibrar la medición | ¿Juzga el análisis como sus evaluadores? | Una tasa de acuerdo por criterio, y una decisión por criterio |
| 4. Jerarquizar las alertas | ¿Quién actúa, sobre qué, en qué plazo? | Tres circuitos: la llamada, la persona, el proceso |
| 5. Presupuestar por minuto | ¿Qué minutos hay que analizar realmente? | Un perímetro, un volumen, un coste por conversación |
| 6. Redesplegar el equipo de calidad | ¿Qué pasa con el tiempo dedicado a escuchar? | Un nuevo ritmo de trabajo, conocido por los asesores |
Etapa 1: decidir qué mide, y a qué nivel
Antes de tocar la herramienta, haga la lista de lo que quiere saber y, para cada indicador, del nivel en el que debe ser fiable: el centro, el equipo, el asesor, el segmento o la propia llamada. Es ese nivel el que dice si el 100% es necesario.
| Lo que quiere saber | Nivel | Lo que hay que evaluar |
|---|---|---|
| ¿Progresa nuestra tasa de conformidad media? | El centro | Puede bastar una muestra aleatoria de 400 llamadas |
| ¿A qué asesores acompañar con prioridad? | El asesor | Todas sus llamadas |
| ¿Qué motivo de llamada concentra las reclamaciones? | El segmento | Todas las llamadas del motivo |
| ¿A qué clientes volver a llamar para regularizar un incumplimiento? | La llamada | Todas las llamadas |
Para cada línea, anote la decisión a la que debe servir el indicador: formar, acompañar, corregir un guion, regularizar, alertar a la dirección. Un indicador que no sirve a ninguna decisión no tiene sitio en la rejilla, y producirá alertas que nadie leerá.
Etapa 2: reescribir la rejilla para una lectura automática
Una rejilla concebida para la escucha cuenta con el juicio del evaluador. «Ha mostrado empatía», «buen dominio de la oferta», «discurso fluido»: ya dos evaluadores no siempre responden de la misma manera, y un análisis automático no tiene nada preciso que buscar en la transcripción. Cada criterio debe poder decidirse a partir de lo que se ha dicho.
| Criterio de escucha | Criterio reescrito para una lectura automática |
|---|---|
| El asesor muestra empatía. | Si el cliente describe una consecuencia concreta del problema para él, el asesor la tiene en cuenta en la solución que propone. |
| Buen dominio de la oferta. | El cliente hace una pregunta sobre la oferta a la que el asesor no responde. |
| Respeto de las menciones legales. | El asesor informa al cliente de que la llamada se graba, antes de abordar el objeto de la llamada. |
Cuatro reglas bastan en la mayoría de los casos:
- un solo tema por criterio, para que un veredicto «no adquirido» diga con precisión lo que ha faltado;
- un hecho observable en la conversación, no una impresión ni un estado interior atribuido al asesor o al cliente;
- una condición explícita cuando la situación no es sistemática: un criterio que empieza por «Si», «Cuando» o «En caso de que» vale N/A cuando la situación no se presenta, en lugar de penalizar la llamada;
- la conformidad separada de los rituales, y los resultados de la llamada seguidos fuera de la nota.
Estas reglas se desarrollan en nuestro artículo sobre el quality monitoring procedimental o relacional. En Raisetalk, un criterio que no suma ni resta ningún punto conserva su veredicto sin afectar a la nota: sigue siendo filtrable, alimenta el reporting y puede activar una alerta.
Etapa 3: calibrar la medición antes de publicar una nota
Es la etapa que más a menudo se omite, y la más costosa de recuperar. Un análisis automático puede equivocarse en un criterio, y su error se aplica a todas las llamadas. Sobre 20 000 llamadas, un criterio mal comprendido da una tasa falsa con una precisión de un punto. Y una nota individual publicada antes de haber sido verificada se impugna, con razón, y después pierde su credibilidad de forma duradera.
La calibración consiste en confrontar el análisis con sus evaluadores, criterio por criterio, sobre una muestra extraída al azar. La muestra no desaparece con el 100%: cambia de función. Ya no sirve para estimar la calidad de los asesores, sirve para controlar la medición.
El protocolo
- Extraiga al azar llamadas ya analizadas. Al azar, no entre las llamadas señaladas o impugnadas: de lo contrario, mide el análisis en sus casos más difíciles y lo juzga peor de lo que es.
- Haga que las evalúen dos evaluadores, a ciegas. Ninguno de los dos ve el veredicto del análisis ni el de su compañero.
- Compare, criterio por criterio: el acuerdo de los dos evaluadores entre sí, y después el acuerdo del análisis con cada uno de ellos.
- Lea el sentido de los desacuerdos. Un análisis más severo o más indulgente que sus evaluadores desplaza todas las tasas en la misma dirección. Unos desacuerdos dispersos, en ambos sentidos, falsean poco las tasas pero pesan sobre las notas individuales.
- Decida criterio por criterio: puesta en producción, reescritura o evaluación manual.
- Repita cada mes sobre una pequeña muestra, y en cada modificación de la rejilla.
Cuántos veredictos revisar
| Acuerdo esperado | Precisión buscada | Veredictos que revisar, por criterio |
|---|---|---|
| 90% | 5 puntos | unos 140 |
| 90% | 3 puntos | unos 390 |
| 95% | 3 puntos | unos 200 |
Para un criterio condicional, solo cuentan las llamadas en las que se ha presentado la situación. Un criterio que se aplica a una llamada de cada cinco exige, por tanto, extraer unas 700 llamadas para obtener 140 veredictos útiles.
El umbral correcto no es el 100%
La referencia no es el acuerdo perfecto, que sus evaluadores tampoco alcanzan entre sí. Si el análisis coincide con cada uno de sus evaluadores tan a menudo como ellos coinciden entre sí, juzga ese criterio al menos con la misma regularidad que su equipo, y lo hace en todas las llamadas.
Desconfíe de la tasa de acuerdo bruta en los criterios casi siempre adquiridos. Si un criterio se adquiere en el 98% de las llamadas, un análisis que respondiera «adquirido» cada vez coincidiría con sus evaluadores 98 veces de cada 100 sin detectar nada. Fíjese más bien en los casos minoritarios: de las llamadas que sus evaluadores juzgan no adquiridas, ¿cuántas ha detectado también el análisis? Los estadísticos corrigen este sesgo con el kappa de Cohen, que descuenta el acuerdo debido al azar.
Lo que decide para cada criterio
- Puesta en producción cuando el acuerdo está al nivel del de sus evaluadores, sin un sesgo marcado en un sentido.
- Reescritura cuando los desacuerdos se concentran en una formulación ambigua: dos ideas en el mismo criterio, una palabra que cada uno entiende a su manera, una condición implícita. Antes de desplegar la nueva versión, aplíquela a llamadas ya evaluadas gracias a la reevaluación con otra rejilla.
- Evaluación manual cuando el criterio requiere una información ausente de la conversación, o un juicio que usted quiere mantener humano. Un criterio puede reservarse a la evaluación manual, junto al análisis automático: es el principio del análisis híbrido.
En Raisetalk, cada veredicto va acompañado de su justificación y de los pasajes de la llamada en los que se basa: un evaluador verifica un veredicto en unos segundos en lugar de volver a escuchar la llamada. Una vez la rejilla en producción, una evaluación modificada por un responsable conserva la lectura de la IA junto a la decisión humana, y cada impugnación de un criterio por parte de un asesor queda registrada. Los criterios que aparecen a menudo en estas correcciones son los primeros que hay que recalibrar.
Etapa 4: jerarquizar antes de activar las alertas
El 100% hace visible de golpe todo lo que era invisible. Sobre 20 000 llamadas al mes, un criterio incumplido en el 5% de los casos produce una cincuentena de ocurrencias por día laborable. Si cada una desencadena un correo, nadie los lee al cabo de una semana.
La regla que conviene fijar antes de activar la menor alerta: una alerta llamada por llamada solo se justifica si alguien puede actuar sobre esa llamada concreta, en el día. Lo demás se lee en tasas.
| Circuito | Lo que lo activa | Forma | Destinatario y plazo |
|---|---|---|---|
| La llamada | Incumplimiento grave de conformidad, amenaza de baja, reclamación formal | Alerta inmediata, por correo | Una persona designada, que actúa en el día |
| La persona | Criterio incumplido de forma recurrente por un asesor o un equipo | Tasa sobre el periodo, notificaciones consultables a su ritmo | El manager, en el siguiente debrief |
| El proceso | Motivo de llamada en aumento, gesto ausente en todas partes, guion que no funciona | Constatación agregada y ordenada | La dirección, en el informe mensual |
Tres prácticas evitan la avalancha:
- Contar antes de activar. Filtre las conversaciones del mes anterior por el criterio en cuestión: su número es el volumen de alertas que la regla habría producido. Si supera lo que el destinatario puede tratar en el día, la regla corresponde a otro circuito.
- Empezar con pocas alertas inmediatas. Dos o tres reglas por correo en el lanzamiento, reservadas al primer circuito. Las demás reglas notifican sin interrumpir, y usted revisa el dispositivo al cabo de unas semanas, en función de lo que se ha leído y tratado.
- Nombrar cada regla por lo que señala. «Grabación no anunciada en la rejilla de Ventas» se lee de un vistazo, «Alerta 3» mucho menos.
En Raisetalk, el modo de envío se elige regla por regla: Notificar por correo para lo que debe interrumpir, Notificar en Raisetalk para lo que solo debe verse, en la página Mis alertas, que conserva todas las alertas activadas y lo que se ha leído. Esta página, como un informe analítico, puede ser objeto de un envío programado: un resumen periódico en lugar de un flujo continuo. Para el tercer circuito, el informe de gestión ordena sus constataciones según la diferencia observada, la gravedad del criterio y el número de conversaciones en el que se basa.
Etapa 5: presupuestar por minuto
Con una facturación por uso, el presupuesto se construye en tres líneas.
- El volumen bruto: número de llamadas al mes multiplicado por su duración media. 20 000 llamadas de 5 minutos son 100 000 minutos.
- Lo que no es útil analizar: buzones de voz, llamadas de pocos segundos, transferencias internas, líneas de prueba. Los conectores de telefonía de Raisetalk, como Aircall o Ringover, permiten fijar una duración mínima, elegir el sentido de las llamadas y excluir líneas o usuarios.
- El precio por minuto: Raisetalk factura desde 0,10 € por minuto de conversación analizada, sin licencia ni compromiso, con paquetes por volumen a partir de un determinado umbral mensual.
Después, reduzca el total a un coste por conversación evaluada, única unidad que permite comparar una facturación por uso, una licencia por puesto y el coste de la escucha manual. Para una licencia por puesto, divida el precio mensual del puesto por el número de minutos de conversación del asesor: obtendrá el precio por minuto equivalente. Los órdenes de magnitud, entre ellos el coste de una evaluación manual, se detallan en nuestro cálculo del coste del análisis del 100% de las llamadas.
Empiece por un perímetro, no por todo el centro. Un equipo o un tipo de llamada, por ejemplo las bajas o las reclamaciones, durante un mes. El primer mes sirve para calibrar y ajustar las alertas: el presupuesto del piloto es el de los minutos de ese perímetro, y la ampliación se decide con cifras.
Etapa 6: redesplegar el equipo de calidad, y avisar a los asesores
El paso al 100% no suprime el trabajo del equipo de calidad, cambia su naturaleza.
| Actividad | Con la escucha por muestreo | Con el análisis de todas las llamadas |
|---|---|---|
| Escuchar y puntuar llamadas | La mayor parte del tiempo | La calibración mensual de una muestra extraída al azar |
| Elegir las llamadas que escuchar | Cada semana | Ya no es necesario: se evalúan todas las llamadas |
| Preparar un debrief | A partir de tres llamadas | A partir de todas las llamadas del asesor, con los pasajes como prueba |
| Tratar las alertas | Según lo que surja en las escuchas | Según los circuitos de la etapa 4 |
| Explicar una diferencia | Imposible con 30 llamadas | A partir del informe de gestión |
| Hacer evolucionar la rejilla | Rara vez, a falta de medición | En función de la calibración y de las impugnaciones |
El tiempo liberado va primero al debrief, que se convierte en el núcleo del oficio: un asesor progresa con ejemplos sacados de sus propias llamadas, no con una nota.
Queda avisar a los asesores, y no es un mero trámite. En Francia, ninguna información que concierna personalmente a un empleado puede recogerse mediante un dispositivo que no se haya puesto previamente en su conocimiento (artículo L1222-4 del Código de Trabajo francés), y el comité social et économique (CSE), el órgano de representación de los trabajadores en Francia, es informado y consultado, antes de su implantación, sobre los medios que permiten controlar la actividad de los empleados (artículo L2312-38). Más allá de la obligación, hay tres cosas que decir con claridad:
- lo que se mide: comportamientos observados en la conversación y hechos verificables, nunca una emoción ni un estado interior;
- cómo impugnar: un veredicto va siempre acompañado de su justificación y de los pasajes correspondientes, y un asesor puede proponer el valor que considera justo;
- quién ve qué: los roles y los permisos de acceso limitan a cada lector a su perímetro.
Los cinco errores más frecuentes
- Conectar la rejilla de escucha tal cual, sin reescribir los criterios que se basaban en el juicio del evaluador.
- Publicar notas individuales antes de haber calibrado el análisis.
- Activar una alerta por correo para cada criterio.
- Clasificar a los asesores según una nota que depende también de lo que no controlan, como el motivo de la llamada o una decisión comercial tomada en otro lugar.
- Reducir el equipo de calidad en lugar de redesplegarlo: la medición se degrada en cuanto nadie la verifica.
Términos clave
- Quality monitoring al 100%: evaluación automática de todas las conversaciones de un perímetro con una rejilla de criterios, en sustitución de la escucha por muestreo
- Calibración: comparación de los veredictos del análisis automático con los de evaluadores humanos, criterio por criterio, para verificar que la medición es fiable y corregirla
- Doble lectura a ciegas: evaluación de una misma llamada por dos personas que no ven ni el veredicto de la otra ni el del análisis
- Kappa de Cohen: medida del acuerdo entre dos evaluadores que descuenta la parte de acuerdo debida al azar
- Criterio condicional: criterio que solo se aplica si se presenta una situación precisa en la conversación, y vale N/A en caso contrario
- Circuito de alerta: camino que sigue una constatación según lo que requiere: una acción sobre la llamada, sobre una persona o sobre el proceso
Preguntas frecuentes
¿Cómo pasar de la escucha por muestreo al análisis del 100% de las llamadas?
En seis etapas: decidir qué mide y a qué nivel, reescribir la rejilla en criterios observables, calibrar el análisis con sus evaluadores, jerarquizar las alertas en tres circuitos, presupuestar por minuto sobre un primer perímetro, y después redesplegar el equipo de calidad hacia la calibración, el debrief y la acción. Avise a los asesores y, si existe, consulte a la representación de los trabajadores (en Francia, el comité social et économique) antes de la implantación.
¿Hay que mantener evaluadores humanos cuando la IA analiza todas las llamadas?
Sí. Ya no sirven para escuchar llamadas al azar, sino para verificar la medición, arbitrar las impugnaciones, preparar los debriefs y hacer evolucionar la rejilla. Sin una calibración regular, un análisis automático puede desviarse en un criterio sin que nadie se dé cuenta.
¿Cuántas llamadas hay que revisar para calibrar un análisis automático?
Unos 140 veredictos por criterio para estimar una tasa de acuerdo del 90% con un margen de 5 puntos, y unos 390 para una precisión de 3 puntos. Para un criterio condicional, solo cuentan las llamadas en las que se ha presentado la situación: hay que extraer entonces más llamadas.
¿Cómo evitar verse desbordado por las alertas de calidad?
Reservando la alerta inmediata a lo que exige una acción sobre la propia llamada en el día, y leyendo lo demás en tasas, en el debrief o en un informe. Antes de activar una regla, cuente cuántas llamadas del mes anterior la habrían activado: es el volumen que producirá.
¿Hay que informar a los asesores del análisis automático de sus llamadas?
Sí. En Francia, un empleado debe ser informado previamente de cualquier dispositivo que recoja información sobre él, y el comité social et économique (CSE) es consultado antes de la implantación de un medio de control de la actividad. Explicar lo que se mide, cómo impugnar un veredicto y quién ve qué reduce también las impugnaciones.
Para empezar
El primer mes se juega en un perímetro y una rejilla. Pruebe Raisetalk con sus propias conversaciones, y calibre con sus llamadas antes de decidir.
