Démo réussie, appels réels ratés : quelle couche a cédé ?
Votre agent vocal a réussi toutes les démos, mais il peine sur les vrais appels. Les appels en échec eux-mêmes indiquent quelle couche cède et ce qu'il faut corriger en premier.
En bref
Un agent vocal qui réussit la démo puis échoue sur les appels réels n'est pas devenu moins bon du jour au lendemain. Les appels réels traversent les mêmes sept couches que la démo, de l'audio de la ligne et de la reconnaissance vocale jusqu'aux outils, au transfert et à la mesure. La démo n'a simplement jamais mis à l'épreuve la couche qui cède aujourd'hui en conditions réelles.
Ne commencez donc pas par réécrire le prompt. Prenez les vrais appels en échec, faites passer chacun par les couches dans l'ordre et attribuez-le à la première couche qui a cédé. La couche qui regroupe le plus d'appels est celle qui fait défaut, et c'est elle que vous corrigez en premier. Faites cette seule correction, rejouez les mêmes appels et comparez.
Cet article concerne une ligne déjà en production. Si vous n'avez pas encore lancé la vôtre, commencez par notre guide pour tester un agent vocal avant la mise en production.
Pourquoi la démo a réussi
Une démo est un test bienveillant. L'appelant connaît le script, parle distinctement dans une pièce calme et attend que l'agent ait fini sa phrase. La fiche de test est propre : la commande existe et le créneau est libre.
Les vrais appelants coupent la parole. Ils appellent depuis leur voiture ou un entrepôt, emploient des expressions locales et des abréviations, et abordent des sujets connexes que le parcours n'a pas prévus. Parfois, ce n'est même pas la personne attendue : le comptable répond à la place du gérant, un proche décroche, ou l'appel aboutit dans un autre service.
Chacune de ces situations sollicite une couche différente. Une bonne démo montre que les couches tiennent quand tout est propre, pas laquelle cède la première face au trafic réel.
Les sept couches que traverse un appel
Chaque appel traverse les mêmes couches, dans le même ordre. Une rupture dans une couche en amont produit des symptômes dans les couches suivantes : à eux seuls, les symptômes désignent donc souvent le mauvais endroit.
- Audio de la ligne et téléphonie : l'appel s'établit, le son passe dans les deux sens sans décalage ni écho, et l'appel se termine proprement.
- Reconnaissance vocale : ce que l'appelant a dit devient du texte.
- Connaissances : les informations que l'agent peut utiliser, comme vos règles, les caractéristiques des produits et les réponses aux questions fréquentes.
- Décision : la logique de la conversation, c'est-à-dire ce qu'il faut dire ou demander ensuite, quand faire confirmer, quand transférer et comment conclure.
- Outils et actions système : les consultations et les écritures dans le CRM, l'outil de réservation ou de gestion des tickets.
- Transfert vers un conseiller : le transfert d'appel ou le rappel, et le contexte que reçoit votre conseiller.
- Mesure : le résultat enregistré correspond à ce qui s'est réellement passé.
Reste un dernier filtre, qui n'est pas une couche d'IA : le côté métier. Certains appels échouent pour des raisons propres à votre activité, faute de stock ou de créneau libre, ou à cause de données périmées dans votre propre système. L'agent a fait son travail, c'est l'entreprise qui n'a pas pu suivre. Comptez ces appels à part et confiez-les au responsable du processus concerné.
Partez des vrais appelants, pas du cahier de tests
Prenez tous les appels réels d'une période récente, et non les scénarios de votre cahier de tests. Retirez ensuite les appels de test internes : même numéro, mêmes phrases scriptées, répétées à quelques minutes d'intervalle. Un testeur ne parle pas comme un vrai appelant.
Vérifiez ensuite les résultats attribués sur un échantillon. Si des messageries vocales comptent comme des conversations, ou des réservations abouties comme des échecs, c'est la liste des appels en échec elle-même qui est fausse. La mesure est la dernière couche, mais la première à vérifier.
Enfin, écoutez les enregistrements. La transcription montre ce que la reconnaissance a entendu ; seul l'enregistrement montre ce que l'appelant a dit.
Tableau de diagnostic : du symptôme à la couche
Utilisez ce tableau sur un appel en échec à la fois, et trouvez la preuve avant d'attribuer la couche.
| Symptôme | Couche probable | À vérifier | Ce qui le confirme |
|---|---|---|---|
| Les appels sortants s'arrêtent dans les premières secondes | Audio de la ligne et téléphonie | Le délai entre le décroché et le premier mot de l'agent | Les personnes appelées raccrochent après un blanc, avant que l'agent ne parle. Des raccrochages pendant la phrase d'ouverture renvoient à la décision. |
| Un long blanc quand l'appelant a fini de parler | Audio de la ligne et téléphonie, ou outils | Le blanc avant chaque réponse de l'agent | Un blanc à chaque tour renvoie à la ligne. Un blanc seulement quand l'agent consulte un système renvoie aux outils. |
| L'agent s'interrompt en pleine phrase alors que personne n'a parlé | Audio de la ligne et téléphonie | Chaque interruption, comparée à l'enregistrement | Il s'arrête sur un bruit de circulation, une machine ou son propre écho. |
| Les appelants doivent se répéter | Reconnaissance vocale | La transcription de la première tentative, comparée à l'enregistrement | La parole est nette sur l'enregistrement, mais la transcription est fausse ou vide. |
| L'agent répond à une question que personne n'a posée | Reconnaissance vocale | Le texte entendu, comparé à la question que l'agent venait de poser | La transcription contient une phrase que l'appelant n'a jamais dite, et l'agent y a répondu. Si la transcription est juste, c'est la décision qui est en cause. |
| Les noms, les références produit ou les adresses sont mal retranscrits | Reconnaissance vocale | Les mêmes termes sur de nombreux appels | Les mêmes formes erronées reviennent d'un appelant à l'autre. |
| Une réponse assurée, mais fausse ou périmée | Connaissances | La source de la réponse, et sa date | Le contenu fourni à l'agent est lui-même faux ou périmé. Des données périmées dans votre propre système relèvent du côté métier. |
| « Je n'ai pas cette information » sur une question courante | Connaissances | Le sujet figure-t-il dans le contenu de l'agent ? | La question revient souvent dans les appels réels et elle est absente du contenu. |
| L'agent redemande des informations que l'appelant a déjà données | Décision | Le tour où l'appelant a répondu | La transcription est juste, et la réplique suivante de l'agent n'en tient pas compte. |
| Ce n'est pas le bon interlocuteur, et le script continue | Décision | Ce que fait le parcours face à un comptable, un proche ou un autre service | L'agent continue de poser des questions auxquelles cette personne ne peut pas répondre, au lieu de demander à qui s'adresser. |
| L'agent annonce une réservation, mais rien n'apparaît dans le CRM | Outils et actions système | Le journal des outils pour ce tour : requête, réponse, identifiant de fiche | Le système a renvoyé une erreur ou aucun identifiant de fiche, et l'agent a quand même confirmé. Si aucune requête n'est partie, c'est la décision qui est en cause. |
| Après un transfert, votre conseiller demande à l'appelant de tout réexpliquer | Transfert vers un conseiller | Ce que le conseiller voyait au moment du transfert | La synthèse manquait, ou elle est arrivée après que le conseiller a décroché. |
| Les appelants sont coupés en fin d'appel | Décision | Qui a mis fin à l'appel, et la dernière phrase de l'appelant | L'agent a raccroché avant que l'appelant ne dise au revoir. Un appel auquel aucun des deux n'a mis fin renvoie à la ligne. |
| Le tableau de bord indique « résolu », mais les réclamations disent le contraire | Mesure | Un échantillon d'appels marqués « résolu », comparé à la définition du résultat | Ces appels n'ont pas atteint le résultat convenu, ou c'étaient des messageries vocales. |
Comptez chaque appel en échec une seule fois, à sa première rupture
C'est ainsi que nous analysons les appels en échec chez DRING. Chaque appel en échec passe les couches dans l'ordre et reçoit une seule étiquette : la première couche qui a cédé. Une phrase mal entendue qui entraîne une mauvaise réponse, puis une réservation ratée, constitue une seule rupture de reconnaissance, pas trois problèmes.
Avec une seule valeur par appel, les totaux par couche s'additionnent pour donner le nombre d'appels en échec, et le plus élevé montre où une seule correction peut récupérer le plus d'appels.
La méthode courante consiste à étiqueter chaque symptôme partout où il apparaît. Comptés ainsi, les 200 appels en échec de l'exemple ci-dessous ont reçu 355 étiquettes. La décision en a recueilli le plus, 104, car une phrase mal entendue rend généralement fausse la réponse suivante. Pourtant, la décision n'était la première rupture que dans 40 appels. Les étiquettes de symptôme se recoupent, leur total ne correspond pas au nombre d'appels en échec, et elles font paraître chaque couche urgente. Présentez-les à part si cela vous aide, mais classez les corrections selon les premières ruptures.
Les chiffres de cette section sont un exemple construit pour cet article, et non des données issues d'un déploiement réel.
| Première couche qui a cédé | Appels en échec | Part |
|---|---|---|
| Reconnaissance vocale | 62 | 31 % |
| Décision | 40 | 20 % |
| Outils et actions système | 24 | 12 % |
| Côté métier, pas un défaut de l'IA | 22 | 11 % |
| Audio de la ligne et téléphonie | 18 | 9 % |
| Connaissances | 14 | 7 % |
| Transfert vers un conseiller | 12 | 6 % |
| Mesure | 8 | 4 % |
| Total | 200 | 100 % |
Dans cet exemple, la reconnaissance vocale est la première couche à traiter : elle est la première rupture dans 62 appels sur 200. Les 22 appels côté métier ne sont pas un défaut de l'IA. Aucune modification de l'agent ne libère un créneau ni ne corrige une grille tarifaire périmée dans votre propre système.
Reconnaissance vocale : l'essentiel des corrections se fait dans la couche décision
La première rupture montre où un appel a dérapé, pas toujours où placer la correction. Sur une ligne téléphonique, beaucoup d'erreurs de reconnaissance ne peuvent pas être corrigées dans la couche reconnaissance : le son est compressé, et un chariot élévateur peut couvrir la voix. La conversation doit rester juste même quand le texte est faux, et ce travail se fait dans la couche décision :
- Ne pas répondre à une phrase hors de propos. Quand le texte entendu ne correspond pas à la question que l'agent vient de poser, l'agent n'y donne pas suite et n'ouvre pas de nouveau sujet. Il dit qu'il n'a pas bien compris et repose la question.
- Tenir une liste des mots souvent mal entendus. Les termes que la reconnaissance transcrit mal dans les appels réels sont consignés, et l'agent les fait confirmer par une question au lieu de deviner.
- S'appuyer sur les données du système. Quand la commande ou la fiche est déjà connue, l'agent la relit à l'appelant et demande : « C'est bien celle-ci ? »
- Ajouter une liste de mots-clés en dernier. Une liste de noms et de termes produit est un réglage de reconnaissance peu coûteux, mais elle vient après les trois étapes ci-dessus.
Un exemple écrit pour cet article, et non un appel réel : une réplique mal entendue, traitée de deux façons.
| Tour | Ce qui est dit |
|---|---|
| Agent | « Votre commande sera livrée jeudi entre 9 h et midi. Est-ce que cela vous convient ? » |
| Appelant, au volant | « Oui, jeudi, ça me va. Vous pouvez la laisser au voisin ? » |
| Ce que la reconnaissance a entendu | « Oui, jeudi, ça me va. Vous pouvez l'annuler au besoin ? » |
| Agent, mauvaise réponse | « Bien sûr, j'ai annulé votre commande. Puis-je vous aider pour autre chose ? » |
| Agent, bonne réponse | « Merci, c'est noté pour jeudi. Excusez-moi, je n'ai pas bien saisi la fin. Vous pouvez répéter, s'il vous plaît ? » |
| Appelant | « Vous pouvez la laisser au voisin si je ne suis pas là ? » |
| Agent | « Sans problème. Jeudi entre 9 h et midi, et si vous êtes absent, le livreur la déposera chez votre voisin. » |
La première réponse transforme une erreur de reconnaissance en commande annulée. La seconde garde ce qui cadre avec la question et redemande le reste. Pour aller plus loin sur cette couche, lisez comment l'IA vocale corrige ce qu'elle a mal entendu.
Outils et transfert : fiez-vous au journal, pas à la phrase
Un agent qui dit « Votre rendez-vous est bien pris » a produit une phrase, pas un rendez-vous. Pour chaque action, vérifiez le journal des outils : la requête est-elle partie, qu'a renvoyé le système, et y avait-il un identifiant de fiche ? L'agent ne doit confirmer une action qu'après une réponse positive du système. Notre guide sur l'inscription des résultats dans le CRM détaille ce qu'un appel doit laisser derrière lui.
Le transfert, lui aussi, cède sans bruit. L'appel est bien transféré, mais la synthèse arrive en retard, ou pas du tout. Écoutez les premières secondes après chaque transfert. Si votre conseiller demande à l'appelant pourquoi il appelle, le transfert a échoué. Ce que ce contexte doit contenir est détaillé dans notre guide sur la conception du transfert vers un conseiller.
Fins d'appel : comptez les au revoir
Beaucoup de parcours mettent fin à l'appel après un délai fixe ou dès que la tâche est accomplie. Sur les appels réels, cela coupe les gens en pleine question ou en plein remerciement. L'agent ne doit pas raccrocher avant d'avoir entendu l'appelant dire au revoir.
Pour chaque appel terminé par l'agent, lisez la dernière phrase de l'appelant avant le raccrochage. Contenait-elle un au revoir ? La part d'appels sans au revoir est votre taux de coupure, et elle relève de la couche décision.
Corrigez une couche à la fois
Le tableau des premières ruptures fixe l'ordre des travaux :
- Choisissez la couche d'IA qui totalise le plus d'appels. Les pertes côté métier reviennent à leur responsable.
- Faites une seule modification, ciblée sur ces appels. Pour les ruptures de reconnaissance, cette modification se fait généralement dans la couche décision, comme expliqué plus haut. Avec deux modifications à la fois, impossible de savoir laquelle a fait la différence.
- Rejouez les mêmes appels en échec. Ils forment désormais votre jeu de non-régression : les mêmes répliques des appelants et, si possible, les mêmes conditions audio.
- Comparez les premières ruptures avant et après sur un trafic du même type : même campagne, même type de liste ou mêmes heures d'appels entrants. Avec une liste plus facile, n'importe quelle modification paraît bonne.
Attendez-vous à voir certains appels changer de couche plutôt que disparaître. Un appel qui passe désormais la reconnaissance peut céder plus loin, au niveau des outils. C'est un progrès : la correction suivante devient visible. Agent Factory, la méthode de DRING pour construire, tester et améliorer ses agents, suit la même règle : une modification à la fois, testée avant sa mise en production.
Où DRING intervient
Si un parcours en production ne donne pas les résultats attendus, présentez-le lors d'un rappel. Préparez un échantillon d'appels en échec, avec les enregistrements si votre politique interne le permet, et le résultat que chaque appel aurait dû atteindre. Notre équipe peut les passer en revue avec vous selon la méthode décrite ici et regarder où chacun a cédé en premier.
Les modifications qui touchent vos propres systèmes font l'objet d'un cadrage séparé. Les actions qu'un agent peut effectuer dans un CRM dépendent de l'édition du CRM, des autorisations et de l'accès à l'API. Sur DRING, des champs d'analyse supplémentaires peuvent être définis et restitués via l'API, le CRM, le tableau de bord et les rapports. La première couche qui a cédé peut en faire partie.
Chaque agent construit par DRING passe par 1 000 à 10 000 conversations simulées, conçues pour votre entreprise, avant le premier appel réel. Les appels réels montrent malgré tout ce que la simulation a manqué : après le lancement, l'amélioration part donc des vrais appelants.
Trouvez la couche qui fait défaut
Laissez votre numéro : DRING vous rappelle en deux minutes. Dites-lui quel parcours pose problème, et notre équipe revient vers vous en indiquant où chercher en premier.