Beaucoup d'administrateurs arrivent dans Raisetalk avec l'habitude du Quality Monitoring manuel, où l'on formulait souvent des "gros critères" qui mélangeaient plusieurs sujets. C'est le principal piège à éviter.
Côté évaluateur humain, ces gros critères rendent l'évaluation instable :
- chaque évaluateur les interprète à sa manière, ce qui oblige à organiser des sessions de calibrage régulières
- les biais s'accumulent et la comparaison entre équipes devient difficile
- le temps passé à arbitrer dépasse vite le temps passé à coacher
Côté IA, le problème est le même : un critère qui mélange plusieurs conditions non-corrélées force l'IA à arbitrer sur un ensemble flou, ce qui dégrade la fiabilité des résultats et rend les rapports difficiles à exploiter.
La règle est donc simple, avec les humains comme avec l'IA : un critère = un sujet, formulé de manière spécifique et observable.
Anatomie d'un critère
Dans Raisetalk, un critère est composé des éléments suivants, configurés par l'administrateur :
- Catégorie : pour organiser les critères et s'y retrouver dans le référentiel
- Nom : un libellé court, lisible dans les rapports
- Assertion : la "vérité" qui sera challengée par l'IA lors de l'analyse
- Orientation : si l'assertion est vérifiée, le critère est-il acquis ou non-acquis ?
- Points : la pondération du critère dans la note globale
- Mode d'évaluation : automatique (IA) ou manuel (humain)
- Conditions d'évaluation : optionnelles, pour n'appliquer le critère que dans certains cas
- Langue(s) : pour que le critère apparaisse dans le référentiel dans plusieurs langues
Le point le plus délicat, et celui qui fait l'efficacité d'un critère, est la rédaction de l'assertion. Les sections suivantes détaillent chaque élément, en commençant par celui-là.
Un référentiel fourni par défaut
Lorsqu'une instance Raisetalk est créée, elle est livrée avec un ensemble de critères standards qui fournissent une base solide à faire évoluer à votre guise. Inutile donc de partir d'une page blanche : vous disposez d'exemples déjà rédigés et structurés, que vous pouvez conserver tels quels, adapter à votre activité, désactiver ou compléter.
Deux référentiels métier sont couverts :
- Support et relation client : un référentiel inspiré des grilles de l'Élection du Service Client de l'Année, qui couvre les points clés de la qualité de prise en charge : accueil, écoute active, reformulation, clarté de la réponse, conclusion de la conversation…
- Vente : un référentiel basé sur le framework MEDDIC (Metrics, Economic Buyer, Decision Criteria, Decision Process, Identify Pain, Champion), qui structure les entretiens commerciaux autour des critères d'évaluation classiques de la vente B2B.
Au-delà du gain de temps, ces critères servent aussi d'exemples concrets de la manière dont une assertion claire est rédigée : les consulter est une bonne façon de se familiariser avec les principes détaillés dans les sections suivantes.
Rédiger une assertion claire
L'assertion est le texte que l'IA va chercher à vérifier sur la transcription de la conversation. Pour qu'elle soit exploitable, elle doit respecter un principe simple :
QUI fait QUOI : un acteur (le client, le conseiller, le vendeur, le prospect, ...), un verbe d'action, et un objet précis.
Autrement dit, l'assertion doit décrire un comportement observable sur la transcription, pas un jugement de valeur ni un concept global.
Exemples : à éviter / à privilégier
| ❌ À éviter | ✅ À privilégier | Pourquoi |
|---|---|---|
Churn | Le client manifeste son intention de résilier son contrat | Un mot-clé n'est pas une assertion. Aucun sujet, aucun verbe, aucun objet : ni l'IA, ni un superviseur humain ne sauraient précisément quoi évaluer. |
Le conseiller a été professionnel | Le conseiller utilise une formule de salutation au début de la conversation | "Professionnel" est subjectif et regroupe de nombreuses notions (politesse, rigueur, empathie…). Remplacer par un comportement précis et vérifiable. |
Le conseiller a bien traité la demande | Le conseiller reformule la problématique du client avant de proposer une solution | "Bien traité" est trop vague pour être évalué. Décrire une action concrète que l'on peut retrouver dans la transcription. |
Le conseiller se montre empathique et propose une solution adaptée et respecte la politique commerciale | Découper en 3 critères distincts : empathie, solution adaptée, respect de la politique commerciale | Un critère = un sujet. Mélanger plusieurs conditions dans la même assertion rend l'évaluation imprévisible et les rapports illisibles. |
Le dernier cas est le plus fréquent chez les équipes venant du Quality Monitoring manuel. Dès qu'une assertion contient "et", "ainsi que", "tout en"…, il est probable qu'elle mérite d'être découpée.
Orienter le critère : acquis ou non-acquis
Une fois l'assertion rédigée, il faut indiquer ce qui se passe quand elle est vérifiée : le critère est-il acquis ou non-acquis ?
La règle est simple :
- Assertion décrivant un comportement positif → acquis quand elle est vérifiée Exemple : Le conseiller reformule la problématique du client → acquis
- Assertion décrivant un comportement négatif → non-acquis quand elle est vérifiée Exemple : Le client manifeste son intention de résilier son contrat → non-acquis
Autrement dit, c'est bien le fait que l'assertion soit vérifiée qui déclenche l'état choisi par l'administrateur. Cela permet de formuler naturellement aussi bien des signaux positifs que des signaux d'alerte.
Pondérer le critère
Chaque critère reçoit des points qui déterminent son poids dans la note globale de la conversation :
- De 0 à 100 points quand le critère est acquis
- De 0 à -100 points quand il est non-acquis
Un critère à 100 pèsera donc dix fois plus qu'un critère à 10 dans la note finale.
Bonne pratique : garder une échelle cohérente au sein d'une même grille. Si la plupart des critères sont pondérés entre 10 et 30, un critère isolé à 100 va écraser tous les autres et rendre la note difficile à interpréter. Définir à l'avance 3 ou 4 niveaux (ex. mineur / important / majeur / bloquant) et s'y tenir donne des rapports beaucoup plus lisibles.
Évaluation automatique ou manuelle
Par défaut, les critères sont évalués automatiquement par l'IA. C'est le mode qui rend l'analyse conversationnelle scalable : chaque conversation est traitée sans intervention humaine.
Dans certains cas, il peut être pertinent de garder un ou deux critères manuels par grille, à évaluer par un superviseur humain. Cela reste l'exception et concerne typiquement des critères trop subjectifs pour être évalués de manière fiable sans contexte métier supplémentaire.
Ce choix est fait à la création du critère et ne peut plus être modifié ensuite.
Conditionner l'évaluation
Certains critères n'ont de sens que dans certains cas. Raisetalk permet de conditionner l'évaluation pour qu'elle ne se déclenche que lorsque ce cas est détecté.
- Critère toujours évalué (sans condition) : Le client est satisfait de la réponse apportée
- Critère conditionnel : Si une mise en attente a lieu, le conseiller prévient le client avant d'interrompre la conversation. Ce critère n'est évalué que si une mise en attente a effectivement eu lieu pendant la conversation.
Cela évite d'avoir des critères sanctionnés sur l'ensemble des conversations où ils ne s'appliquent pas, et de fausser la note globale.
Critères multilingues
Un critère peut être saisi dans plusieurs langues. Cette traduction est purement éditoriale : elle ne change rien au traitement par l'IA. Son unique objectif est de faire apparaître le critère dans le référentiel dans chacune des langues supportées par le compte, pour que chaque administrateur, superviseur, conseiller puisse consulter le référentiel dans sa langue de travail.