Lo esencial

  • Una rejilla de evaluación de calidad se ajusta, no se redacta de una sola vez. Mientras un criterio no se haya ejecutado sobre conversaciones reales, nadie sabe realmente qué mide.
  • La reevaluación cierra el círculo: usted vuelve a ejecutar una rejilla en construcción sobre conversaciones que ya conoce, tantas veces como haga falta y sin reimportar nada.
  • La evaluación existente nunca se toca. La reevaluación añade una segunda evaluación al lado, con su propia nota y su propio historial.
  • Solo se refactura el análisis de los criterios. La transcripción, los resúmenes y las etiquetas se reutilizan tal cual.
  • Una refundición de la rejilla se mide antes de dar el salto: reevalúe unas cuantas conversaciones con la nueva versión, compárela con la anterior y decida con cifras en lugar de con intuiciones.

Una rejilla de evaluación de calidad no se escribe, se ajusta

Pregunte a una responsable de calidad cómo construyó su marco de evaluación. Rara vez le hablará de una sesión de redacción. Le hablará de meses de ajustes: un criterio demasiado vago que siempre daba el mismo veredicto, una ponderación que aplastaba todo lo demás, una formulación que significaba una cosa para ella y otra para sus evaluadores.

Esa rejilla es la base de todo dispositivo de quality monitoring: es ella la que decide qué se mide y, por tanto, qué se pilotará y se entrenará después. Cuando una IA aplica la rejilla, el trabajo de ajuste no desaparece. Se desplaza. La pregunta ya no es «¿entienden mis evaluadores este criterio de la misma manera?», sino «este criterio, tal como lo he formulado, ¿detecta realmente lo que busco?». Y esa pregunta solo tiene una forma de resolverse: ejecutarlo sobre conversaciones reales y leer después lo que dice de ellas.

Eso es lo que permite la reevaluación. Desde la ficha de una conversación, usted crea una segunda evaluación, sobre la rejilla que elija, incluida aquella que está escribiendo en ese momento.

El ciclo corto: escribir, probar, corregir

En la práctica, la puesta a punto de una rejilla se parece a esto.

Usted elige unas cuantas conversaciones de referencia, cinco o diez, que conoce de memoria. Una llamada excelente, una mala, dos o tres casos límite: aquellos en los que ya sabe qué debería decir la nota.

Escribe una primera versión de su rejilla y la ejecuta sobre esas conversaciones. No se fija únicamente en la nota. Abre cada criterio y lee la justificación que ha producido el análisis: la frase que explica por qué el criterio se ha considerado cumplido o no, junto con el pasaje de la conversación que lo ha desencadenado. Ahí es donde se delata un criterio mal formulado. El veredicto puede ser correcto por una razón equivocada, o incorrecto por una razón que salta a la vista en cuanto se lee la explicación.

Corrige la afirmación en su biblioteca de criterios y vuelve a lanzar la misma rejilla sobre las mismas conversaciones. Por eso la reevaluación acepta explícitamente una rejilla ya utilizada: no es un caso particular tolerado, es la forma principal de trabajar.

Como cada pasada crea una evaluación distinta, usted conserva las versiones sucesivas una al lado de la otra: ve el efecto de su corrección en lugar de suponerlo.

Una buena práctica para sus pruebas. Las evaluaciones de prueba cuentan en sus indicadores igual que las demás. Una vez estabilizada la rejilla, desactive las evaluaciones de ensayo: desaparecen del reporting y de las exportaciones, pero siguen siendo consultables. También puede apartarlas sobre la marcha con el filtro de la lista de conversaciones que se describe más abajo.

Refundir su marco de calidad sin navegar a ciegas

El ciclo corto sirve para un criterio. El mismo mecanismo cambia la naturaleza de un proyecto mucho más pesado: la refundición de un marco de calidad.

Refundir una rejilla implica aceptar una ruptura en su dispositivo de quality monitoring. Las notas de antes y de después dejan de ser comparables, y la pregunta que llega de inmediato desde la dirección es siempre la misma: ¿han bajado nuestros asesores o la rejilla es más exigente? Sin punto de comparación, nadie sabe responder.

La reevaluación permite preparar el cambio con cifras. Tome una muestra de conversaciones ya evaluadas con la rejilla antigua, reevalúelas con la nueva y lea la diferencia. Quince puntos de diferencia sobre la misma muestra no significan que el equipo se haya deteriorado: significan que su nuevo marco es quince puntos más exigente. Usted conoce su nuevo punto de partida antes de haber cambiado nada.

Esto es posible porque la reevaluación no sobrescribe nada. La nota anterior permanece intacta, su historial de pilotaje no se mueve y ambas evaluaciones llevan la fecha de la llamada original, lo que las mantiene comparables dentro de un mismo periodo.

Un ejemplo: las llamadas cortas

En una plataforma de emisión, una parte considerable de las llamadas dura menos de un minuto: buzones de voz, filtros de secretaría, números equivocados, negativas inmediatas. Evaluarlas con una rejilla de entrevista completa no tiene ningún sentido. Casi todos los criterios resultan no aplicables o mecánicamente no cumplidos, y el asesor queda penalizado por una situación que no controla.

Construir una rejilla corta para estas llamadas es una refundición parcial típica. Y la pregunta que lo decide todo es empírica: en mis llamadas de menos de un minuto, ¿produce esta rejilla de veinte criterios una nota que signifique algo? Solo se sabe ejecutándola sobre llamadas cortas reales, ya analizadas, cuyo veredicto con la rejilla larga ya se conoce.

En concreto, ¿cómo se reevalúa una conversación?

Desde la ficha de una conversación, en la barra de acciones del bloque Análisis, un icono de rama abre la ventana de reevaluación. Ahí elige la rejilla de destino entre todas las rejillas activas de su organización, con su número de criterios. Las rejillas ya utilizadas por otra evaluación de la conversación siguen estando disponibles, simplemente señaladas como tales.

Ventana de reevaluación de una conversación en la plataforma de análisis conversacional Raisetalk: selector de rejilla de análisis con el número de criterios de cada una y campo de justificación obligatorio

Un comentario de justificación es obligatorio. No está ahí por formalismo: una reevaluación crea una calificación adicional y consume créditos de análisis. Ese comentario explica por qué se ha pedido esta segunda pasada y sigue siendo consultable después, lo que resulta valioso cuando se encadenan pruebas sobre una rejilla en construcción.

La nueva evaluación aparece de inmediato, con sus criterios en curso de análisis y una cuenta atrás que refresca la pantalla por sí sola. Unas decenas de segundos más tarde, la nota está ahí.

El botón permanece atenuado mientras el análisis original no haya terminado por completo: una reevaluación reutiliza los resúmenes y las etiquetas de la conversación, así que deben existir.

Lo que no se vuelve a ejecutar, y lo que eso cambia

Es lo que hace que un ciclo de pruebas sea económicamente razonable.

Etapa del análisis¿Se repite?Por qué
TranscripciónNoEl texto del intercambio no depende de la rejilla
Resúmenes y sentimientosNoSe copian tal cual, sin nueva llamada al modelo
EtiquetasNoSe configuran a nivel de organización, no de rejilla
ProsodiaNoLa medición se aplica al audio, no al marco
Criterios y afirmacionesEs precisamente lo que define la rejilla

Una reevaluación cuesta, por tanto, únicamente las afirmaciones de la rejilla elegida. En una rejilla corta de una veintena de criterios, eso es una fracción del coste de un análisis completo, y no admite comparación con una reimportación que volvería a pagar la transcripción. Tres rondas de prueba sobre diez conversaciones de referencia siguen siendo un gasto modesto frente a un marco que se va a utilizar durante dos años.

Cada evaluación lleva su propia facturación, consultable en su panel dedicado.

Dos evaluaciones, dos vidas

Una reevaluación no es una variante ni un anexo. Es una evaluación de pleno derecho.

Tiene su propia nota, calculada sobre los criterios de su rejilla. Tiene su propio debrief, que el manager abre y cierra de forma independiente. Es impugnable por el asesor igual que la otra, porque una nota que cuenta debe poder ser objeto de un derecho de respuesta. Tiene su propio historial de versiones. Y puede desactivarse sin que ello afecte a la evaluación de la que procede, que es exactamente lo que se quiere hacer con una serie de pruebas.

Esa autonomía llega hasta los ficheros: la reevaluación posee su propia copia de la grabación y de la transcripción. Una purga aplicada a una de ellas nunca puede mutilar a la otra.

Un banner enlaza las evaluaciones de una misma conversación, cada una con su fecha, su rejilla, su nota y la justificación que la motivó. Un clic lleva de una a otra.

Ficha de una reevaluación en Raisetalk, con el banner que la enlaza con las demás evaluaciones de la misma conversación: identificador, fecha, rejilla de análisis, nota y justificación de cada una

Una conversación cuya grabación ha sido purgada sigue siendo reevaluable. La purga del audio y la de la transcripción son dos ajustes distintos. Mientras exista la transcripción, el análisis puede repetirse: trabaja sobre el texto, no sobre el sonido.

Leer su reporting durante una fase de pruebas

Dos evaluaciones cuentan como dos en los indicadores. Durante una campaña de pruebas de rejilla, conviene tener presente ese efecto.

Dos salvaguardas. Cada evaluación aparece en el reporting de su propia rejilla, así que un filtro por rejilla separa de forma natural sus pruebas de su pilotaje corriente. Y la lista de conversaciones ofrece un filtro de dos grupos: los estados de debrief por un lado, el perímetro de evaluaciones por otro, con cuatro opciones que cruzan origen y reevaluación, activo y desactivado. Usted muestra lo que quiere medir, y la exportación recoge exactamente el mismo perímetro.

En la lista, una reevaluación se reconoce por su icono de rama, en lugar del indicador de progreso habitual.

Lista de conversaciones de Raisetalk mostrando dos evaluaciones de una misma llamada, una con el indicador de progreso y otra con el icono de rama, junto al filtro de estados abierto en su grupo Evaluaciones

La trazabilidad, por construcción

La reevaluación se suma a la familia de gestos de supervisión humana que enmarcan el quality monitoring de Raisetalk: modificar una evaluación, impugnarla, desactivarla, debriefarla. Todos responden al mismo principio: la IA propone, la persona dispone, y la plataforma guarda el rastro de quién decidió qué.

Aquí, ese rastro adopta tres formas. La evaluación original nunca se modifica, ocurra lo que ocurra con la nueva. La justificación se archiva como primera versión de la reevaluación, con su autor y su marca de tiempo. Y esa primera versión contiene una fotografía completa de la evaluación de la que procede: al abrir el historial de una reevaluación, se ve de dónde viene, en el estado exacto en que se encontraba en ese momento.

La reevaluación está protegida, por último, por un permiso dedicado, «Reevaluar una conversación», en la familia Conversaciones de la matriz de roles y permisos. Se concede por defecto a los administradores, y usted lo abre a otros roles según lo requiera su organización.

Matriz de roles y permisos de Raisetalk, familia Conversaciones, con el permiso Reevaluar una conversación activado para el rol Administrador

Para empezar

  1. Elija de tres a cinco conversaciones de referencia cuyo veredicto esperado ya conozca.
  2. Abra la ficha de una de ellas y haga clic en el icono de rama en la barra de acciones del bloque Análisis.
  3. Seleccione la rejilla que está construyendo y anote en pocas palabras la hipótesis que está probando.
  4. Lea las justificaciones criterio por criterio, no solo la nota. Corrija sus afirmaciones y vuelva a lanzar la misma rejilla.

Y mañana: ¿varias rejillas desde la importación?

Hay una pregunta que surge en cuanto se manejan varias rejillas sobre una misma conversación: ¿por qué no aplicar de entrada dos marcos a cada llamada, uno comercial y otro orientado a conformidad, por ejemplo?

Es una buena pregunta, y la reevaluación no es su respuesta. Una necesidad sistemática exige una respuesta sistemática: la capacidad de designar varias rejillas en el momento de la integración o de la importación, para que cada conversación llegue con sus dos lecturas, sin gesto manual. Conviene precisar, además, que un marco único bien construido cubre a menudo muy bien dos dimensiones a la vez, y que hacen falta razones reales, dos destinatarios distintos y dos planes de acción separados, para justificar su separación.

La reevaluación responde a una necesidad diferente y perfectamente complementaria: el gesto puntual, decidido a posteriori, sobre una conversación concreta. Poner una rejilla a prueba, preparar una refundición, enfocar un debrief, corregir un error. Ya es mucho, y está disponible hoy.