Aller au contenu
Décrivez un processus. DRING vous rappelle en deux minutes et qualifie le besoin. Être rappelé en deux minutes
Être rappelé en 2 minutes Voir Agent Factory
Étude décryptée · Agents vocaux IA

Pourquoi l'IA peine-t-elle à l'oral ?

Dans l'étude τ-Voice, le meilleur modèle textuel a mené à bien 85 % de 278 tâches de service client. Trois modèles vocaux, sur les mêmes tâches, en ont réussi de 31 à 51 % sur une ligne téléphonique claire et de 26 à 38 % sur une ligne réaliste.

Mêmes tâches, bien moins de réussites

L'agent avait répondu à toutes les questions pendant le test par chat. Puis le même agent a pris la ligne téléphonique, et les appelants ont commencé à demander un conseiller.

Une étude publiée en mars 2026 a chiffré cet écart. τ-Voice (tau-Voice) a fait passer les mêmes 278 tâches de service client à l'écrit et à l'oral. À l'écrit, le meilleur modèle textuel de l'étude en a mené à bien 85 %. Trois modèles vocaux, avec les mêmes tâches sur une ligne téléphonique claire, en ont réussi de 31 à 51 %. Sur une ligne réaliste, avec des accents, du bruit de fond et un client qui coupe la parole, ils en ont réussi de 26 à 38 %. Pour les auteurs, cela revient à conserver de 30 à 45 % de ce que le texte sait faire.

Pour qui compare une IA vocale à une IA textuelle, les tâches sont restées les mêmes. Les modèles, eux, ont changé, puisque le score à l'écrit vient d'un modèle textuel et les scores à l'oral de trois modèles audio différents.

Qu'a testé l'étude ?

τ-Voice est un benchmark d'IA vocale signé Soham Ray, Keshav Dhandhania et Victor Barres, de Sierra.ai à San Francisco, et Karthik Narasimhan, de l'université de Princeton. Sierra conçoit des agents IA pour le service client, si bien que l'étude vient de l'intérieur du secteur qu'elle mesure. L'article est un preprint, qui n'avait pas été relu par des pairs à la date de ce billet.

Les 278 tâches couvrent trois domaines, le commerce, l'aérien et les télécoms. Chaque tâche met en scène un client qui a un objectif, comme échanger un article ou modifier une réservation, et des règles d'entreprise que l'agent doit respecter.

L'étude ne compte une tâche comme réussie que lorsque le système de l'entreprise se retrouve dans le bon état, avec la bonne commande modifiée ou la bonne réservation mise à jour. Une conversation agréable qui ne change rien, ou qui change la mauvaise chose, compte comme un échec. Tous les chiffres de réussite des tâches de cette page reposent sur cette mesure (pass@1 dans l'article, soit réussi du premier coup).

À l'écrit, un modèle textuel échangeait par écrit avec un client simulé. À l'oral, trois modèles vocaux écoutaient et parlaient en même temps sur une ligne téléphonique simulée, avec un son de qualité téléphonique, et le client simulé leur répondait de vive voix. Chacun prend du son en entrée et rend du son en sortie, dans un seul et même modèle. Ils avaient les mêmes consignes, dont celle de demander aux clients d'épeler noms, e-mails et identifiants lettre par lettre.

Chaque modèle vocal a tourné dans deux conditions. Sur la ligne claire, le client avait un accent américain net, sans bruit de fond ni interruptions. Sur la ligne réaliste, les clients parlaient avec des accents variés, au milieu d'un bruit de fond en intérieur comme en extérieur, de bruits soudains et d'un son haché ou étouffé, et ils coupaient la parole, disaient « mm-hmm », toussaient ou lançaient « une seconde » à quelqu'un d'autre.

Combien la voix a-t-elle perdu ?

Réussite des tâches, à l'écrit et à l'oral
DomaineTexteVoix, ligne claireVoix, ligne réaliste
Les 278 tâches85 %31 à 51 %26 à 38 %
Commerce81 %45 à 71 %30 à 45 %
Aérien83 %28 à 48 %30 à 40 %
Télécoms90 %20 à 58 %18 à 40 %

« Texte » désigne le meilleur modèle textuel de l'étude, GPT-5 avec raisonnement. Un second modèle textuel de l'étude, GPT-4.1, qui répond sans raisonner étape par étape, a réussi 54 % des 278 tâches. Les colonnes vocales donnent le score le plus bas et le plus haut des trois modèles vocaux testés, Google gemini-live-2.5-flash-native-audio, OpenAI gpt-realtime-1.5 et xAI grok-voice-agent. Source : τ-Voice, tableau 6.

Part des 278 tâches réussies à l'écrit et à l'oral. Chaque ligne vocale va du score le plus bas au plus haut de trois modèles vocaux. Source : τ-Voice, 2026.

L'essentiel de l'écart s'était déjà creusé sur la ligne claire, avant tout ajout de bruit ou d'accent. Les trois modèles vocaux y obtenaient de 34 à 54 points de moins que le meilleur modèle textuel, et pour la plupart d'entre eux, passer ensuite à la ligne réaliste a fait perdre moins de points que ce premier écart.

Qu'est-ce qui a aggravé les choses ?

Sur les tâches du commerce, les auteurs ont ajouté à la ligne claire le bruit, les accents et les interruptions, un par un, puis les trois ensemble.

Ce que chaque difficulté a coûté, tâches du commerce
ConditionRéussite des tâchesÉcart avec la ligne claire
Ligne claire55 %
Ligne claire plus bruit51 %4 points de moins
Ligne claire plus accents44 %10 points de moins
Ligne claire plus interruptions47 %7 points de moins
Ligne réaliste (les trois)38 %17 points de moins

Moyenne des trois modèles vocaux, tâches du commerce uniquement. Les pourcentages et les écarts sont arrondis chacun de leur côté dans l'article, si bien qu'un écart peut différer de 1 point de la soustraction. Source : τ-Voice, tableau 7.

Réussite des tâches du commerce, moyenne de trois modèles vocaux, sur la ligne claire puis avec du bruit, des accents, des interruptions ou les trois ensemble. Source : τ-Voice, 2026.

Les accents ont coûté le plus en moyenne, mais de façon très inégale. Un modèle vocal a perdu 1 point avec les accents, un autre en a perdu 18. Les interruptions ont coûté 14 et 11 points à deux des modèles, alors que le troisième s'en est un peu mieux sorti, avec 4 points de plus. Le bruit seul a coûté de 2 à 4 points à chaque modèle vocal.

Les auteurs ont aussi noté la façon dont les modèles vocaux menaient la conversation sur la ligne réaliste. Celui qui répondait à chaque tour de parole du client et cédait à chaque interruption (100 %) n'a ignoré à bon escient les « mm-hmm », les toux et les apartés que dans 6 % des cas, et il répondait donc aussi à des sons qui ne lui étaient pas destinés. Pour les auteurs, aucun modèle vocal de l'étude ne se montrait bon à la fois pour mener la tâche à terme et pour gérer les allers-retours de la conversation.

Où les appels ont-ils déraillé ?

Les auteurs ont lu à la main 91 conversations vocales en échec, en deux groupes. Premier groupe : 43 conversations échouées, sur des tâches réussies à l'écrit mais ratées sur la ligne claire. L'agent était en cause dans 34 cas (79 %) et le client simulé dans 9 (21 %). Second groupe : 48 conversations échouées, sur des tâches réussies sur la ligne claire mais ratées sur la ligne réaliste. L'agent était en cause dans 43 cas (90 %) et le client simulé dans 5 (10 %).

Ce qui a mal tourné dans 91 appels en échec
Erreur de l'agentÉchec sur ligne claireÉchec seulement sur ligne réaliste
Raisonnement faux ou étape sautée1316
A mal compris ce que disait le client1016
A dit avoir fait ce qu'il n'avait pas fait66
N'a plus répondu14
Temps écoulé41
Total des erreurs de l'agent34 sur 4343 sur 48

Les intitulés de l'article pour ces lignes sont logical, transcription, hallucination, VAD/unresponsive et timeout. Source : τ-Voice, tableau 9.

Dans les deux groupes, c'est surtout à la vérification d'identité que les appels ont buté. Les agents se trompaient sur les noms et les e-mails, même lorsque le client les épelait lettre par lettre, comme le prévoyaient les consignes données à l'agent. Sans client identifié, rien d'autre ne pouvait se produire dans la tâche.

Certains échecs étaient plus discrets. Dans une conversation, l'agent a dit au client « J'ai mis à jour votre adresse de livraison » sans rien modifier dans le système. Les demandes en plusieurs parties posaient aussi problème, puisque les agents menaient une partie à bien et oubliaient le reste.

L'écoute n'explique pas tout. Dans le groupe réaliste, le raisonnement faux et la mauvaise compréhension revenaient aussi souvent l'un que l'autre, 16 échecs sur 48 chacun, et les auteurs en concluent que l'écart entre voix et texte n'est pas seulement un problème de reconnaissance vocale. Pour tester la partie écoute sur vos propres appels, voyez notre article sur le choix de la reconnaissance vocale.

Que ne montre pas l'étude ?

L'étude s'est déroulée en anglais uniquement. Les clients étaient simulés, avec des voix de synthèse, et les auteurs précisent que les résultats sur les accents sont à lire comme indicatifs. Ils notent aussi que les vrais appelants sont moins patients que les clients simulés.

L'étude a mesuré si la tâche était menée à bien et comment se passaient les tours de parole. Elle n'a pas mesuré le rendu de l'agent à l'oreille, la satisfaction des clients ni les tâches partiellement menées à bien.

Les scores à l'écrit et à l'oral viennent de modèles différents. Le meilleur modèle textuel peut raisonner aussi longtemps qu'il en a besoin avant de répondre, alors qu'un modèle vocal doit répondre en temps réel, si bien qu'une partie de l'écart tient au modèle et non à la ligne téléphonique.

Les trois modèles vocaux sont d'un même type, son en entrée et son en sortie, dans les versions sorties entre décembre 2025 et février 2026. Les agents assemblés à partir de briques séparées de reconnaissance vocale, de raisonnement et de synthèse vocale n'ont pas été testés. Ces chiffres ne disent donc rien d'eux, ni en bien ni en mal, et les auteurs les rangent parmi les travaux à venir. Les agents travaillaient en outre avec des consignes générales et les outils du benchmark, et un agent conçu et testé pour les appels d'une entreprise relève d'une autre configuration, que l'étude ne mesure ni dans un sens ni dans l'autre.

DRING n'a pas mené cette étude et n'y a pas été testé. Les modèles évoluent vite, et les chiffres décrivent les versions qui ont été testées.

Que tester en premier ?

Faites votre test comme un vrai appel téléphonique. Dans l'étude, les mêmes tâches obtenaient un score plus bas avec un son de qualité téléphonique qu'à l'écrit, et plus bas encore quand on y ajoutait des accents, du bruit et des interruptions. Un chat écrit ou un micro d'ordinateur portable passe à côté des deux, et vos appelants correspondent à la colonne « Voix, ligne réaliste ».

Commencez par la vérification d'identité, puisque c'est là que les appels en échec de l'étude ont le plus souvent buté. Prenez dix noms, e-mails et numéros de commande du genre de ceux de vos appelants, lisez-les à voix haute comme vos appelants les épellent, et comptez combien l'agent en retient correctement.

Après chaque appel de test, ouvrez le système et regardez ce qui y est inscrit. Si l'agent a dit avoir changé une adresse, la nouvelle adresse doit s'y trouver, ce qui faisait défaut dans le cas de l'adresse de livraison relevé par l'étude.

Rendez ensuite les appels plus difficiles, de la façon qui a coûté des points de réussite aux modèles vocaux dans l'étude. Prenez les accents que vos appelants ont réellement. Demandez à un testeur d'interrompre, de tousser et de lancer « une seconde » à un collègue en pleine conversation, et notez si l'agent répond à la toux ou à l'aparté. Donnez enfin à l'agent une demande en trois parties et vérifiez que les trois sont traitées.

Quand un fournisseur avance un score de réussite des tâches pour son agent vocal, demandez-le compté comme l'a fait l'étude, d'après ce qui a changé dans le système, sur du son téléphonique. Pour un plan complet, notre guide pour tester un agent vocal IA avant la production détaille le jeu de tests et les critères de mise en service.

Peut-on citer cette page ?

Oui. L'article est publié sous licence Creative Commons Attribution 4.0 International (CC BY 4.0), et vous pouvez réutiliser ce résumé aux mêmes conditions, en citant d'abord l'article. Voici comment citer l'étude.

Ray, S., Dhandhania, K., Barres, V., Narasimhan, K. (2026). τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv:2603.13686.

Le code du benchmark est public sur GitHub. Si vous reprenez un chiffre de cette page, merci de citer l'article et d'ajouter cette ligne.

Résumé : DRING, dring.ai/fr/blog-voice-ai-vs-text-ai

Les cinq constats, rédigés pour que vous puissiez les citer tels quels :

  • Sur 278 tâches de service client, le meilleur modèle textuel en a réussi 85 %, et les trois modèles vocaux de 31 à 51 % sur une ligne claire (τ-Voice, 2026).
  • Sur une ligne réaliste, avec des accents, du bruit et des interruptions, les trois modèles vocaux ont réussi de 26 à 38 % des tâches, ce que les auteurs décrivent comme la conservation de 30 à 45 % de ce que le texte sait faire (τ-Voice, 2026).
  • Sur les tâches du commerce de l'étude, les accents ont coûté en moyenne 10 points de réussite aux trois modèles vocaux, les interruptions 7 et le bruit de fond 4 (τ-Voice, 2026).
  • Dans les 91 appels vocaux en échec que les auteurs ont lus à la main, 79 % et 90 % des échecs des deux groupes venaient d'erreurs de l'agent, et c'est à la vérification d'identité que les appels ont le plus souvent buté, avec des noms et des e-mails mal compris même épelés (τ-Voice, 2026).
  • Aucun modèle vocal de l'étude ne se montrait bon à la fois pour mener la tâche à terme et pour gérer la conversation, et celui qui répondait à 100 % des tours de parole du client n'ignorait à bon escient les toux et les apartés que dans 6 % des cas (τ-Voice, 2026).

Où DRING intervient-il ?

L'étude a mesuré des modèles vocaux généralistes qui suivent un cahier de règles. Un agent DRING est assemblé à partir de briques distinctes, avec des modèles de reconnaissance vocale, de synthèse vocale et de raisonnement choisis un à un, et avec les tests et le suivi de la base commune sur laquelle il tourne. Ce type d'agent n'était pas dans l'étude.

Chaque agent DRING affronte de 1 000 à 10 000 conversations simulées, construites pour votre entreprise, avant le premier appel réel. Elles sont générées à partir de votre parcours, de vos documents et de vos enregistrements d'appels, et un agent n'entre en production qu'après avoir franchi cette batterie, comme le décrit notre page qualité. Les tests de la section « Que tester en premier ? » sont ceux à demander à n'importe quel fournisseur, DRING compris.

À lire aussi : IA vocale ou SVI : que choisir ? · Qu'est-ce qu'un agent vocal IA ? La méthode DRING

Partez de votre appel le plus difficile

Laissez votre numéro et DRING vous rappelle en deux minutes. Dites-lui quel appel votre équipe redoute le plus.