Analizar el 100% de las llamadas: lo que dice la estadística, y lo que cuesta realmente

El 100% es un argumento, rara vez un cálculo

La mayoría de las páginas dedicadas al speech analytics siguen el mismo esquema. Describen el paso de la escucha por muestreo al análisis automático de todas las conversaciones, lo presentan como el beneficio principal y pasan después a las funcionalidades. Pocas muestran, con cifras, por qué la muestra no basta.

El cálculo, sin embargo, está al alcance de cualquier responsable de calidad. Dice dos cosas que el argumento comercial calla: la muestra habitual mide aún menos de lo que se cree, y el análisis de todas las conversaciones no resuelve todos los problemas. Lo planteamos aquí sobre un caso tipo, el mismo a lo largo de todo el artículo:

• un centro de contacto que gestiona 20 000 llamadas al mes;
• 50 asesores repartidos en cinco equipos de diez, es decir unas 400 llamadas por asesor y 4 000 por equipo;
• un equipo de calidad que escucha tres llamadas por asesor y por mes, es decir 30 llamadas por equipo y 150 para el centro;
• un criterio de conformidad seguido de cerca: la información al cliente sobre la grabación de la llamada.

Estos volúmenes son los de muchos centros. Si los suyos son diferentes, las tablas que siguen dan los órdenes de magnitud para otros tamaños de muestra.

El cálculo: lo que miden 30 llamadas

El mes pasado, de las 30 llamadas escuchadas en un equipo, 24 incluían la información sobre la grabación. Tasa medida: 80%.

Esta cifra no es la tasa del equipo. Es una estimación, y su precisión se calcula. Con un 95% de confianza, la tasa real, la que se obtendría escuchando las 4 000 llamadas del equipo, se sitúa entre el 63% y el 91%. Un rango de 28 puntos, para un indicador que después se comenta con precisión de un punto.

Dos observaciones cambian la lectura de esta tabla.

El tamaño del centro casi no cuenta. La precisión depende del número de llamadas evaluadas, no del número de llamadas gestionadas. Treinta llamadas miden igual de mal un equipo de 4 000 llamadas que un centro de 200 000.

El seguimiento individual no tiene base estadística. Tres escuchas al mes clasifican sobre todo el azar: un asesor con 2 de 3 y un compañero con 3 de 3 no se distinguen. Incluso acumuladas durante un año, 36 escuchas dejan un rango de 25 puntos, suponiendo que la práctica del asesor no haya cambiado en doce meses.

¿A partir de qué diferencia está justificado un plan de acción?

Al mes siguiente, el equipo obtiene 21 de 30, es decir el 70%. Diez puntos de bajada: el supervisor recuerda la consigna, el comité de calidad pide un plan de acción.

La prueba adecuada para comparar dos muestras pequeñas, la prueba exacta de Fisher, da una probabilidad de 0,55. Dicho de otro modo, si nada hubiera cambiado en el equipo, se observaría una diferencia al menos igual de grande más de una vez de cada dos, por el mero azar del muestreo. El plan de acción responde a ruido.

Para que la bajada sea significativa con el umbral habitual del 5%, el equipo tendría que caer de 24 a 15 llamadas conformes sobre 30, es decir del 80% al 50%. Con 30 llamadas por periodo, solo se ven los deterioros masivos.

La pregunta se plantea también en sentido inverso: ¿cuántas llamadas hay que evaluar en cada periodo para tener buenas probabilidades, cuatro de cada cinco, de detectar una bajada que existe realmente?

Prueba bilateral con un umbral del 5%, potencia del 80%, aproximación normal.

Con 30 llamadas por periodo, solo se ven las catástrofes. Las diferencias de unos pocos puntos que comentan la mayoría de los comités de calidad son, con estos volúmenes, indistinguibles del azar. No es una crítica a los equipos de calidad: es el límite de la herramienta que se les ha dado.

La regla práctica que se deriva cabe en una pregunta. Antes de lanzar un plan de acción sobre una variación, pregunte sobre cuántas llamadas se basa cada una de las dos cifras comparadas. Incluso con un centenar de llamadas por periodo, una diferencia de menos de 14 puntos no permite sacar conclusiones.

Los defectos raros: lo que la muestra no verá

La tasa media no siempre es la pregunta correcta. En conformidad, la pregunta suele ser: ¿ocurre, y dónde? Una llamada de prospección comercial sin obtención del consentimiento, una contratación en la que el deber de asesoramiento no aparece en la conversación, una mención obligatoria omitida.

Supongamos un incumplimiento presente en el 1% de las llamadas, es decir 40 llamadas al mes para un equipo y 200 para el centro.

• En las 30 llamadas escuchadas de un equipo, la probabilidad de no encontrar ninguno es del 74%. Tres meses de cada cuatro, el equipo concluye que todo va bien.
• En las 150 llamadas escuchadas para todo el centro, esa probabilidad sigue siendo del 22%, más de un mes de cada cinco.

Y cuando la muestra no encuentra nada, no demuestra gran cosa. Cero incumplimientos sobre 150 llamadas sigue siendo compatible, con un 95% de confianza, con una tasa real de hasta el 2%, es decir 400 llamadas no conformes al mes sobre 20 000. Cero sobre las 30 llamadas de un equipo es compatible con una tasa de hasta el 9,5%, es decir cerca de 400 llamadas de las 4 000 del equipo. Es lo que los estadísticos llaman la regla del tres: cuando no se observa ningún caso en n llamadas, la tasa real puede alcanzar aproximadamente 3 / n.

Cuando la muestra encuentra un caso, no dice dónde están los demás. Constatar un incumplimiento en una llamada escuchada es saber que probablemente existen decenas, sin saber cuáles. Para regularizar, volver a llamar a los clientes afectados o responder a una inspección, son esas llamadas las que se necesitan, no una estimación de su número.

Para una media, bastan 400 llamadas: el 100% sirve para otra cosa

Sería deshonesto detenerse aquí. Si la única pregunta es el nivel medio de un criterio en el conjunto del centro, una muestra bien construida basta: 400 llamadas extraídas al azar dan la tasa con un margen de 4 puntos, 1 000 llamadas con un margen de 2,5 puntos. Escuchar las 20 000 no aportaría casi nada a esa pregunta concreta.

Con dos condiciones, que los dispositivos actuales rara vez cumplen:

• El volumen. A razón de 15 a 20 minutos por evaluación, 400 escuchas al mes ocupan aproximadamente a un evaluador a tiempo completo, para un único indicador de centro.
• El azar. Una muestra elegida no es una muestra aleatoria. Las llamadas escuchadas suelen ser las que un supervisor ha detectado, las de una franja horaria cómoda, las que han sido objeto de una reclamación o las de un asesor al que se quiere destacar. Este sesgo de selección no se corrige escuchando más: 400 llamadas mal elegidas dan una estimación falsa con una gran precisión.

Así pues, el 100% no sirve en primer lugar para estimar mejor una media. Sirve para cuatro cosas que ninguna muestra razonable permite.

1. Medir a cada asesor. Con 400 llamadas cada uno, la tasa de un asesor se conoce con un margen de 4 puntos cada mes, en lugar de un rango de 70 puntos. El debrief trata entonces sobre hechos establecidos, con los pasajes como prueba, y no sobre tres llamadas sacadas al azar.
2. Encontrar cada defecto raro, en lugar de estimar su frecuencia.
3. Comparar segmentos. Un motivo de llamada, una sede, un proveedor externo, una franja horaria, una campaña: cada cruce exige cientos de llamadas. Treinta llamadas repartidas entre cinco motivos dejan seis por casilla.
4. Localizar las llamadas sobre las que actuar. Una estimación dice «aproximadamente el 2% de las contrataciones sin información sobre el derecho de desistimiento». El análisis de todas las llamadas da la lista de las conversaciones afectadas, con el pasaje en cuestión.

A ello se añade la explicación. Relacionar un gesto del asesor con un resultado poco frecuente, una queja o una venta perdida, exige cientos de conversaciones evaluadas con la misma rejilla. Es el trabajo de la página «mecánica» del informe de gestión, que compara la tasa de un resultado según que el gesto esté presente o ausente, a igual nota.

Lo que el 100% no resuelve

El error de medición sustituye al error de muestreo

Sobre 20 000 llamadas, el intervalo de confianza se reduce a un punto. Pero solo mide el error debido al muestreo. La otra fuente de error, la del instrumento, sigue intacta: un análisis automático puede equivocarse en un criterio, y ese error no disminuye con el volumen. Si el análisis no reconoce la información sobre la grabación en el 5% de las llamadas en las que se dio, la tasa mostrada será del 76% en lugar del 80%, con una precisión de un punto. Una medición muy precisa de un criterio mal comprendido sigue siendo falsa.

Los evaluadores humanos no escapan a este problema. Dos evaluadores que escuchan la misma llamada no siempre emiten el mismo veredicto, y los centros de contacto llaman calibración al trabajo que consiste en reducir esa diferencia. Pero el error de un evaluador solo pesa sobre las pocas llamadas que escucha, mientras que el de un análisis automático se aplica a todas.

De ahí una consecuencia poco intuitiva: la muestra no desaparece con el 100%, cambia de función. Ya no sirve para estimar la calidad de los asesores, sirve para controlar la medición. Una doble lectura humana de una muestra aleatoria de veredictos, criterio por criterio, dice dónde se equivoca el análisis y en qué sentido. Los órdenes de magnitud de la primera tabla se aplican: unos 140 veredictos revisados bastan para estimar una tasa de acuerdo del 90% con un margen de 5 puntos.

En Raisetalk, cada veredicto va acompañado de su justificación y de los pasajes de la llamada en los que se basa, lo que agiliza la revisión. Una evaluación modificada por un responsable conserva la lectura de la IA junto a la decisión humana, y el asesor puede impugnar un criterio: los desacuerdos siguen siendo visibles, criterio por criterio. El protocolo de calibración completo se detalla en nuestro método para pasar a un quality monitoring al 100%.

El volumen de alertas

Segundo efecto del 100%, más inmediato: todo lo que era invisible se vuelve visible, a la vez. Sobre 20 000 llamadas, un criterio incumplido en el 5% de los casos produce 1 000 ocurrencias al mes, una cincuentena por día laborable. Para un solo criterio. Si cada una desencadena un correo, nadie los lee al cabo de una semana, y el dispositivo vuelve, más caro, a la ceguera de la muestra. En conformidad, la situación es aún peor: un incumplimiento detectado y después sin seguimiento difícilmente se justifica ante una inspección.

La clasificación se hace sobre una sola pregunta: ¿quién puede actuar, sobre qué y en qué plazo? Separa tres circuitos.

• Lo que requiere una acción sobre la propia llamada: un incumplimiento grave de conformidad, una amenaza de baja, una reclamación formal. Alerta inmediata, llamada por llamada, dirigida a una persona que pueda actuar en el día.
• Lo que requiere una acción sobre la práctica de un asesor o de un equipo: un criterio incumplido de forma recurrente. Ninguna alerta por llamada, sino una tasa sobre el periodo, tratada en el debrief.
• Lo que requiere una acción sobre el proceso: un motivo de llamada en aumento, un gesto ausente en todas partes, un guion que no funciona. Una constatación agregada, ordenada, presentada a la dirección.

Una alerta llamada por llamada solo se justifica si alguien puede actuar sobre esa llamada concreta, rápidamente. Todo lo demás se lee en tasas. En Raisetalk, el modo de envío se elige regla por regla, por correo o mediante una simple notificación en la aplicación, consultable en la página Mis alertas. El informe de gestión, por su parte, ordena sus constataciones según la diferencia observada, la gravedad del criterio y el número de conversaciones en el que se basa, para que lo grave y lo masivo pasen por delante de lo anecdótico.

El coste real: por conversación evaluada, no por puesto

Queda la pregunta que a menudo lo decide todo. Dos lógicas de precio coexisten en este mercado:

• por puesto: un precio por usuario y por mes, independiente del volumen. El coste sigue a la plantilla, no a la actividad;
• por uso: un precio por minuto de conversación analizada. El coste sigue al volumen.

Para comparar, solo funciona una unidad: el coste por conversación efectivamente evaluada, como recomienda nuestra rejilla para elegir una solución.

Para una licencia por puesto, este coste se obtiene dividiendo el precio mensual del puesto por el número de conversaciones del asesor. Un mismo precio de puesto da así un coste por conversación tres veces más alto para un asesor que gestiona 150 llamadas al mes que para un compañero que gestiona 450. Para comparar con una oferta por minuto, divida el precio del puesto por el número de minutos de conversación mensuales del asesor: obtendrá el precio por minuto equivalente.

Para una facturación por uso, este coste se obtiene multiplicando la duración media de una llamada por el precio por minuto. Raisetalk factura desde 0,10 € por minuto de conversación analizada, sin licencia, sin gastos de instalación ni compromiso de permanencia, con paquetes por volumen a partir de un determinado umbral mensual. Al precio mínimo, una llamada de 5 minutos cuesta 0,50 €.

Frente a ello, la evaluación manual. Evaluar una llamada de 5 minutos es escucharla entera, volver a escuchar los pasajes discutibles, rellenar la rejilla y redactar un comentario: contemos de 15 a 20 minutos. A 30 € por hora de coste empresa, hipótesis que debe sustituir por la suya, una evaluación manual cuesta de 7,50 € a 10 €.

Dos precisiones, para que la comparación siga siendo honesta.

• El 100% no suprime el trabajo humano, lo desplaza. Calibración de la medición, tratamiento de las alertas, debriefs, arbitraje de las impugnaciones: el tiempo del equipo de calidad pasa de la escucha a la acción. La tabla compara costes de evaluación, no plantillas.
• No hace falta analizar todos los minutos. Buzones de voz, llamadas de pocos segundos, transferencias internas, líneas de prueba: los conectores de telefonía de Raisetalk, como Aircall o Ringover, permiten fijar una duración mínima, elegir el sentido de las llamadas y excluir líneas o usuarios. La factura sigue lo que usted decide analizar.

Pasar de la muestra al 100%

El cálculo dice por qué la muestra no basta. No dice cómo prescindir de ella sin caer en las dos trampas descritas más arriba, la medición mal calibrada y la avalancha de alertas. Decidir qué se mide, reescribir la rejilla, calibrar, jerarquizar las alertas, presupuestar, redesplegar el equipo de calidad: las seis etapas se detallan en nuestro método para pasar a un quality monitoring al 100%.

Preguntas frecuentes

¿Cuántas llamadas hay que escuchar para medir la calidad de un centro de contacto?

Todo depende del nivel y de la precisión que se busquen. Para una tasa media a escala del centro, de 250 a 400 llamadas extraídas al azar dan una precisión de 4 a 5 puntos. Para detectar una bajada de 10 puntos de un mes a otro, hacen falta cerca de 300 llamadas evaluadas por periodo. Para seguir a cada asesor, ninguna escucha manual es suficiente: con tres llamadas al mes, el intervalo de confianza cubre más de 70 puntos.

¿Por qué analizar el 100% de las llamadas en lugar de una muestra?

No para estimar mejor una media, que una muestra aleatoria de 400 llamadas ya mide correctamente. El 100% sirve para medir a cada asesor sobre una base sólida, encontrar los defectos raros, comparar segmentos como los motivos de llamada o las sedes, y sobre todo localizar las llamadas afectadas para actuar.

¿Es fiable el análisis automático de todas las llamadas?

Elimina el error de muestreo, no el error de medición. Un análisis automático puede equivocarse en un criterio, y ese error se aplica a todas las llamadas. Por eso hay que calibrarlo: hacer que evaluadores humanos revisen una muestra aleatoria de veredictos, criterio por criterio, y reescribir los criterios en los que diverge. Un veredicto acompañado de su justificación y de los pasajes correspondientes se verifica en unos segundos.

¿Cuánto cuesta analizar el 100% de las llamadas?

Con una facturación por uso, el coste es el número de minutos analizados multiplicado por el precio por minuto. Raisetalk factura desde 0,10 € por minuto de conversación analizada, es decir 0,50 € por una llamada de 5 minutos al precio mínimo, sin licencia ni compromiso. Una evaluación manual de la misma llamada cuesta del orden de 7,50 € a 10 € en tiempo de evaluador.

¿Cómo evitar verse desbordado por las alertas?

Reservando la alerta llamada por llamada a lo que exige una acción sobre la propia llamada, en el día: un incumplimiento grave, una amenaza de baja, una reclamación. Los criterios incumplidos de forma recurrente se leen como tasas por asesor y por equipo, y los problemas de proceso en un informe agregado. Antes de activar una regla, cuente cuántas llamadas del mes anterior la habrían activado.

Para empezar

Su muestra le da una estimación. Para saber lo que ocurre en todas sus llamadas, pruebe Raisetalk con sus propias conversaciones.