L'essentiel sur le passage au quality monitoring à 100%
- Passer de l'écoute par échantillon à l'analyse de tous les appels change la méthode, pas seulement l'outil. Ce qui était rare devient massif, ce qui était estimé devient compté, et une grille pensée pour l'oreille d'un évaluateur ne se lit pas telle quelle par une machine.
- Six étapes : décider ce que vous mesurez et à quel niveau, réécrire la grille pour une lecture automatique, calibrer l'analyse contre vos évaluateurs, hiérarchiser avant d'activer les alertes, budgéter à la minute, redéployer l'équipe qualité.
- La calibration est l'étape qu'on saute le plus souvent. Environ 140 verdicts relus suffisent pour estimer à 5 points près l'accord entre l'analyse et vos évaluateurs sur un critère. La bonne référence n'est pas 100% d'accord, c'est l'accord de vos évaluateurs entre eux.
- Une alerte appel par appel ne se justifie que si quelqu'un peut agir sur cet appel dans la journée. Le reste se lit en taux, en débrief ou dans un rapport.
- L'équipe qualité ne disparaît pas. Son temps passe de l'écoute à la calibration, au débrief et à l'action, et les conseillers doivent savoir ce qui est mesuré et comment le contester.
Un changement de méthode, pas seulement d'outil
Écouter trois appels par conseiller et par mois ne mesure presque rien. Sur 30 appels, un taux de conformité de 80% a un intervalle de confiance qui va de 63% à 91%, un écart de dix points d'un mois sur l'autre apparaît plus d'une fois sur deux même quand rien n'a changé, et un manquement présent dans 1% des appels passe inaperçu trois mois sur quatre. Le détail de ces calculs, et de ce que coûte l'alternative, est dans notre article Analyser 100% des appels : ce que dit la statistique, et ce que ça coûte vraiment.
L'analyse automatique de toutes les conversations lève cette limite. Mais brancher une analyse sur une grille conçue pour l'écoute, et des alertes sur tous ses critères, crée d'autres problèmes : des critères que la machine lit mal, des notes que les conseillers contestent, des centaines d'alertes que personne ne traite. Les six étapes qui suivent sont là pour les éviter.
| Étape | La question à trancher | Ce qui en sort |
|---|---|---|
| 1. Décider ce que vous mesurez | À quel niveau faut-il un chiffre fiable ? | La liste des indicateurs, avec leur niveau et la décision qu'ils servent |
| 2. Réécrire la grille | Chaque critère se tranche-t-il sur ce qui a été dit ? | Une grille de critères observables |
| 3. Calibrer la mesure | L'analyse juge-t-elle comme vos évaluateurs ? | Un taux d'accord par critère, et une décision par critère |
| 4. Hiérarchiser les alertes | Qui agit, sur quoi, dans quel délai ? | Trois circuits : l'appel, la personne, le processus |
| 5. Budgéter à la minute | Quelles minutes faut-il vraiment analyser ? | Un périmètre, un volume, un coût par conversation |
| 6. Redéployer l'équipe qualité | Que devient le temps passé à écouter ? | Un nouveau rythme de travail, connu des conseillers |
Étape 1 : décider ce que vous mesurez, et à quel niveau
Avant de toucher à l'outil, faites la liste de ce que vous voulez savoir, et pour chaque indicateur, du niveau auquel il doit être fiable : le centre, l'équipe, le conseiller, le segment ou l'appel lui-même. C'est ce niveau qui dit si le 100% est nécessaire.
| Ce que vous voulez savoir | Niveau | Ce qu'il faut évaluer |
|---|---|---|
| Notre taux de conformité moyen progresse-t-il ? | Le centre | Un échantillon aléatoire de 400 appels peut suffire |
| Quels conseillers accompagner en priorité ? | Le conseiller | Tous ses appels |
| Quel motif d'appel concentre les réclamations ? | Le segment | Tous les appels du motif |
| Quels clients rappeler pour régulariser un manquement ? | L'appel | Tous les appels |
Pour chaque ligne, notez la décision que l'indicateur doit servir : former, accompagner, corriger un script, régulariser, alerter la direction. Un indicateur qui ne sert aucune décision n'a pas sa place dans la grille, et il produira des alertes que personne ne lira.
Étape 2 : réécrire la grille pour une lecture automatique
Une grille conçue pour l'écoute compte sur le jugement de l'évaluateur. « A fait preuve d'empathie », « bonne maîtrise de l'offre », « discours fluide » : deux évaluateurs n'y répondent déjà pas toujours de la même façon, et une analyse automatique n'a rien de précis à chercher dans la transcription. Chaque critère doit pouvoir se trancher sur ce qui a été dit.
| Critère d'écoute | Critère réécrit pour une lecture automatique |
|---|---|
| Le conseiller fait preuve d'empathie. | Si le client décrit une conséquence concrète du problème pour lui, le conseiller en tient compte dans la solution qu'il propose. |
| Bonne maîtrise de l'offre. | Le client pose une question sur l'offre à laquelle le conseiller n'apporte pas de réponse. |
| Respect des mentions légales. | Le conseiller informe le client que l'appel est enregistré, avant d'aborder l'objet de l'appel. |
Quatre règles suffisent dans la plupart des cas :
- un seul sujet par critère, pour qu'un verdict « non acquis » dise précisément ce qui a manqué ;
- un fait observable dans l'échange, pas une impression ni un état intérieur prêté au conseiller ou au client ;
- une condition explicite quand la situation n'est pas systématique : un critère qui commence par « Si », « Quand » ou « Lorsque » vaut N/A quand la situation ne se présente pas, au lieu de pénaliser l'appel ;
- la conformité séparée des rituels, et les issues de l'appel suivies hors de la note.
Ces règles sont développées dans notre article sur le quality monitoring procédurier ou relationnel. Dans Raisetalk, un critère qui ne rapporte ni ne retire aucun point garde son verdict sans toucher la note : il reste filtrable, alimente le reporting et peut déclencher une alerte.
Étape 3 : calibrer la mesure avant de publier une note
C'est l'étape la plus souvent sautée, et la plus coûteuse à rattraper. Une analyse automatique peut se tromper sur un critère, et son erreur s'applique à tous les appels. Sur 20 000 appels, un critère mal compris donne un taux faux avec une précision d'un point. Et une note individuelle publiée avant d'avoir été vérifiée se conteste, à juste titre, puis se discrédite durablement.
La calibration consiste à confronter l'analyse à vos évaluateurs, critère par critère, sur un échantillon tiré au hasard. L'échantillon ne disparaît pas avec le 100% : il change de rôle. Il ne sert plus à estimer la qualité des conseillers, il sert à contrôler la mesure.
Le protocole
- Tirez au hasard des appels déjà analysés. Au hasard, pas parmi les appels signalés ou contestés : sinon vous mesurez l'analyse sur ses cas les plus difficiles et vous la jugez plus mauvaise qu'elle n'est.
- Faites-les évaluer par deux évaluateurs, à l'aveugle. Ni l'un ni l'autre ne voit le verdict de l'analyse ni celui de son collègue.
- Comparez, critère par critère : l'accord des deux évaluateurs entre eux, puis l'accord de l'analyse avec chacun d'eux.
- Lisez le sens des désaccords. Une analyse plus sévère ou plus indulgente que vos évaluateurs déplace tous les taux dans la même direction. Des désaccords dispersés, dans les deux sens, faussent peu les taux mais pèsent sur les notes individuelles.
- Décidez critère par critère : mise en production, réécriture, ou évaluation manuelle.
- Recommencez chaque mois sur un petit échantillon, et à chaque modification de la grille.
Combien de verdicts relire
| Accord attendu | Précision visée | Verdicts à relire, par critère |
|---|---|---|
| 90% | 5 points | environ 140 |
| 90% | 3 points | environ 390 |
| 95% | 3 points | environ 200 |
Pour un critère conditionnel, seuls comptent les appels où la situation s'est présentée. Un critère qui s'applique à un appel sur cinq demande donc de tirer environ 700 appels pour obtenir 140 verdicts utiles.
Le bon seuil n'est pas 100%
La référence n'est pas l'accord parfait, que vos évaluateurs n'atteignent pas non plus entre eux. Si l'analyse s'accorde avec chacun de vos évaluateurs aussi souvent qu'ils s'accordent entre eux, elle juge ce critère au moins aussi régulièrement que votre équipe, et elle le fait sur tous les appels.
Méfiez-vous du taux d'accord brut sur les critères presque toujours acquis. Si un critère est acquis dans 98% des appels, une analyse qui répondrait « acquis » à chaque fois s'accorderait avec vos évaluateurs 98 fois sur 100 sans rien détecter. Regardez plutôt les cas minoritaires : parmi les appels que vos évaluateurs jugent non acquis, combien l'analyse a-t-elle aussi repérés ? Les statisticiens corrigent ce biais avec le kappa de Cohen, qui retire l'accord dû au hasard.
Ce que vous décidez pour chaque critère
- Mise en production quand l'accord est au niveau de celui de vos évaluateurs, sans biais marqué dans un sens.
- Réécriture quand les désaccords se concentrent sur une formulation ambiguë : deux idées dans le même critère, un mot que chacun comprend à sa façon, une condition implicite. Avant de déployer la nouvelle version, faites-la tourner sur des appels déjà évalués grâce à la réévaluation avec une autre grille.
- Évaluation manuelle quand le critère demande une information absente de l'échange, ou un jugement que vous voulez garder humain. Un critère peut être réservé à l'évaluation manuelle, à côté de l'analyse automatique : c'est le principe de l'analyse hybride.
Dans Raisetalk, chaque verdict est accompagné de sa justification et des passages de l'appel sur lesquels il s'appuie : un évaluateur vérifie un verdict en quelques secondes au lieu de réécouter l'appel. Une fois la grille en production, une évaluation modifiée par un responsable garde la lecture de l'IA à côté de la décision humaine, et chaque contestation d'un critère par un conseiller est tracée. Les critères qui reviennent souvent dans ces corrections sont les premiers à recalibrer.
Étape 4 : hiérarchiser avant d'allumer les alertes
Le 100% rend visible d'un coup tout ce qui était invisible. Sur 20 000 appels par mois, un critère manqué dans 5% des cas produit une cinquantaine d'occurrences par jour ouvré. Si chacune déclenche un email, plus personne ne les lit au bout d'une semaine.
La règle à poser avant d'activer la moindre alerte : une alerte appel par appel ne se justifie que si quelqu'un peut agir sur cet appel précis, dans la journée. Le reste se lit en taux.
| Circuit | Ce qui le déclenche | Forme | Destinataire et délai |
|---|---|---|---|
| L'appel | Manquement grave de conformité, menace de résiliation, réclamation formelle | Alerte immédiate, par email | Une personne nommée, qui agit dans la journée |
| La personne | Critère manqué de façon récurrente par un conseiller ou une équipe | Taux sur la période, notifications consultables à son rythme | Le manager, au débrief suivant |
| Le processus | Motif d'appel en hausse, geste absent partout, script qui ne fonctionne pas | Constat agrégé et classé | La direction, dans le rapport mensuel |
Trois pratiques évitent l'avalanche :
- Compter avant d'activer. Filtrez les conversations du mois précédent sur le critère visé : leur nombre est le volume d'alertes que la règle aurait produit. S'il dépasse ce que le destinataire peut traiter dans sa journée, la règle relève d'un autre circuit.
- Démarrer avec peu d'alertes immédiates. Deux ou trois règles par email au lancement, réservées au premier circuit. Les autres règles notifient sans interrompre, et vous révisez le dispositif au bout de quelques semaines, au vu de ce qui a été lu et traité.
- Nommer chaque règle par ce qu'elle signale. « Enregistrement non annoncé sur la grille Vente » se lit d'un coup d'œil, « Alerte 3 » beaucoup moins.
Dans Raisetalk, le mode d'envoi se choisit règle par règle : Notifier par email pour ce qui doit interrompre, Notifier dans Raisetalk pour ce qui doit seulement être vu, dans la page Mes alertes, qui conserve toutes les alertes déclenchées et ce qui a été lu. Cette page, comme un rapport analytique, peut faire l'objet d'un envoi programmé : une synthèse périodique plutôt qu'un flux continu. Pour le troisième circuit, le rapport de pilotage classe ses constats selon l'écart observé, la gravité du critère et le nombre de conversations sur lequel il repose.
Étape 5 : budgéter à la minute
Avec une facturation à l'usage, le budget se construit en trois lignes.
- Le volume brut : nombre d'appels par mois multiplié par leur durée moyenne. 20 000 appels de 5 minutes font 100 000 minutes.
- Ce qu'il n'est pas utile d'analyser : messageries, appels de quelques secondes, transferts internes, lignes de test. Les connecteurs de téléphonie de Raisetalk, comme Aircall ou Ringover, permettent de fixer une durée minimale, de choisir le sens des appels et d'exclure des lignes ou des utilisateurs.
- Le prix à la minute : Raisetalk facture à partir de 0,10 € par minute de conversation analysée, sans licence ni engagement, avec des forfaits au-delà d'un certain volume mensuel.
Ramenez ensuite le total à un coût par conversation évaluée, seule unité qui permette de comparer une facturation à l'usage, une licence par siège et le coût de l'écoute manuelle. Pour une licence par siège, divisez le prix mensuel du siège par le nombre de minutes de conversation du conseiller : vous obtenez le prix à la minute équivalent. Les ordres de grandeur, dont le coût d'une évaluation manuelle, sont détaillés dans notre calcul du coût de l'analyse de 100% des appels.
Commencez par un périmètre, pas par tout le centre. Une équipe ou un type d'appel, par exemple les résiliations ou les réclamations, pendant un mois. Le premier mois sert à calibrer et à régler les alertes : le budget du pilote est celui des minutes de ce périmètre, et l'élargissement se décide sur des chiffres.
Étape 6 : redéployer l'équipe qualité, et prévenir les conseillers
Le passage au 100% ne supprime pas le travail de l'équipe qualité, il en change la nature.
| Activité | Avec l'écoute par échantillon | Avec l'analyse de tous les appels |
|---|---|---|
| Écouter et noter des appels | L'essentiel du temps | La calibration mensuelle d'un échantillon tiré au hasard |
| Choisir les appels à écouter | Chaque semaine | Plus nécessaire : tous les appels sont évalués |
| Préparer un débrief | À partir de trois appels | À partir de tous les appels du conseiller, passages à l'appui |
| Traiter les alertes | Au hasard des écoutes | Selon les circuits de l'étape 4 |
| Expliquer un écart | Impossible sur 30 appels | À partir du rapport de pilotage |
| Faire évoluer la grille | Rarement, faute de mesure | Au vu de la calibration et des contestations |
Le temps libéré va d'abord au débrief, qui devient le cœur du métier : un conseiller progresse sur des exemples tirés de ses propres appels, pas sur une note.
Reste à prévenir les conseillers, et ce n'est pas une formalité. En France, aucune information concernant personnellement un salarié ne peut être collectée par un dispositif qui n'a pas été porté préalablement à sa connaissance (article L1222-4 du Code du travail), et le comité social et économique est informé et consulté, avant leur mise en œuvre, sur les moyens permettant un contrôle de l'activité des salariés (article L2312-38). Au-delà de l'obligation, trois choses à dire clairement :
- ce qui est mesuré : des comportements observés dans l'échange et des faits vérifiables, jamais une émotion ni un état intérieur ;
- comment contester : un verdict s'accompagne toujours de sa justification et des passages concernés, et un conseiller peut proposer la valeur qu'il estime juste ;
- qui voit quoi : les rôles et les droits d'accès limitent chaque lecteur à son périmètre.
Les cinq erreurs les plus fréquentes
- Brancher la grille d'écoute telle quelle, sans réécrire les critères qui reposaient sur le jugement de l'évaluateur.
- Publier des notes individuelles avant d'avoir calibré l'analyse.
- Activer une alerte par email pour chaque critère.
- Classer les conseillers sur une note qui dépend aussi de ce qu'ils ne maîtrisent pas, comme le motif de l'appel ou une décision commerciale prise ailleurs.
- Réduire l'équipe qualité au lieu de la redéployer : la mesure se dégrade dès que plus personne ne la vérifie.
Les termes clés
- Quality monitoring à 100% : évaluation automatique de toutes les conversations d'un périmètre sur une grille de critères, en remplacement de l'écoute par échantillon
- Calibration : comparaison des verdicts de l'analyse automatique et de ceux d'évaluateurs humains, critère par critère, pour vérifier que la mesure est fiable et la corriger
- Double lecture à l'aveugle : évaluation d'un même appel par deux personnes qui ne voient ni le verdict de l'autre ni celui de l'analyse
- Kappa de Cohen : mesure de l'accord entre deux évaluateurs qui retire la part d'accord due au hasard
- Critère conditionnel : critère qui ne s'applique que si une situation précise se présente dans l'échange, et vaut N/A sinon
- Circuit d'alerte : chemin suivi par un constat selon ce qu'il appelle : une action sur l'appel, sur une personne ou sur le processus
Questions fréquentes
Comment passer de l'écoute par échantillon à l'analyse de 100% des appels ?
En six étapes : décider ce que vous mesurez et à quel niveau, réécrire la grille en critères observables, calibrer l'analyse contre vos évaluateurs, hiérarchiser les alertes en trois circuits, budgéter à la minute sur un premier périmètre, puis redéployer l'équipe qualité vers la calibration, le débrief et l'action. Prévenez les conseillers et, s'il existe, consultez le comité social et économique avant la mise en œuvre.
Faut-il garder des évaluateurs humains quand l'IA analyse tous les appels ?
Oui. Ils ne servent plus à écouter des appels au hasard, mais à vérifier la mesure, à arbitrer les contestations, à préparer les débriefs et à faire évoluer la grille. Sans calibration régulière, une analyse automatique peut dériver sur un critère sans que personne ne s'en aperçoive.
Combien d'appels relire pour calibrer une analyse automatique ?
Environ 140 verdicts par critère pour estimer un taux d'accord de 90% à 5 points près, et environ 390 pour une précision de 3 points. Pour un critère conditionnel, seuls comptent les appels où la situation s'est présentée : il faut alors tirer davantage d'appels.
Comment éviter d'être submergé par les alertes qualité ?
En réservant l'alerte immédiate à ce qui exige une action sur l'appel lui-même dans la journée, et en lisant le reste en taux, en débrief ou dans un rapport. Avant d'activer une règle, comptez combien d'appels du mois précédent l'auraient déclenchée : c'est le volume qu'elle produira.
Faut-il informer les conseillers de l'analyse automatique de leurs appels ?
Oui. En France, un salarié doit être informé préalablement de tout dispositif qui collecte des informations le concernant, et le comité social et économique est consulté avant la mise en œuvre d'un moyen de contrôle de l'activité. Expliquer ce qui est mesuré, comment contester un verdict et qui voit quoi réduit aussi les contestations.
Pour commencer
Le premier mois se joue sur un périmètre et une grille. Essayez Raisetalk sur vos propres conversations, et calibrez sur vos appels avant de décider.
