Waarom is spraak lastiger voor AI?
In het τ-Voice-onderzoek slaagde het beste tekstmodel in 85% van 278 klantenservicetaken. Drie spraakmodellen slaagden in 31 tot 51% van dezelfde taken op een schone telefoonlijn en in 26 tot 38% op een realistische lijn.
Dezelfde taken, veel minder geslaagd
In de chattest beantwoordde de agent elke vraag. Daarna nam dezelfde agent de telefoon op, en bellers begonnen om een medewerker te vragen.
Een onderzoek dat in maart 2026 verscheen, legt dat verschil in cijfers vast. τ-Voice (tau-Voice) liet dezelfde 278 klantenservicetaken draaien in tekst en in spraak. In tekst slaagde het beste tekstmodel uit het onderzoek in 85% ervan. Kregen drie spraakmodellen dezelfde taken over een schone telefoonlijn, dan slaagden ze in 31 tot 51%. Op een realistische lijn, met accenten, achtergrondlawaai en een klant die in de rede valt, was dat 26 tot 38%. Volgens de onderzoekers houdt spraak daarmee 30 tot 45% over van wat tekst kan.
Wie voice-AI met tekst-AI vergelijkt, ziet dat de taken gelijk bleven en de modellen niet. De tekstscore komt van een tekstmodel en de spraakscores van drie verschillende audiomodellen.
Wat testte het onderzoek?
τ-Voice is een benchmark voor voice-AI, geschreven door Soham Ray, Keshav Dhandhania en Victor Barres van Sierra.ai in San Francisco en Karthik Narasimhan van Princeton University. Sierra bouwt AI-agents voor klantenservice, dus het onderzoek komt uit de sector die het meet. De publicatie is een preprint en was op het moment van dit artikel nog niet door vakgenoten beoordeeld.
De 278 taken komen uit drie sectoren: retail, luchtvaart en telecom. Elke taak is een klant met een doel, zoals een artikel ruilen of een boeking wijzigen, en een set bedrijfsregels waaraan de agent zich moet houden.
Het onderzoek rekent een taak pas als geslaagd wanneer de gegevens van het bedrijf daarna kloppen, met de juiste bestelling gewijzigd of de juiste boeking bijgewerkt. Een prettig gesprek waarin niets of het verkeerde verandert, telt als mislukt. Elk slagingspercentage op deze pagina is op die manier bepaald (pass@1 in de publicatie, geslaagd in één poging).
In tekst chatte een tekstmodel met een gesimuleerde klant. In spraak luisterden en spraken drie spraakmodellen tegelijk over een gesimuleerde telefoonlijn met audio van telefoonkwaliteit, en de gesimuleerde klant sprak terug. Elk spraakmodel krijgt audio binnen en geeft audio terug, in één model. De spraakmodellen kregen dezelfde instructies, waaronder de regel om klanten namen, e-mailadressen en ID's letter voor letter te laten spellen.
Elk spraakmodel draaide in twee situaties. Op de schone lijn had de klant een helder Amerikaans accent, zonder achtergrondlawaai en zonder onderbrekingen. Op de realistische lijn spraken klanten met verschillende accenten, met achtergrondlawaai binnen en buiten, plotselinge geluiden en wegvallend of gedempt geluid. Ze vielen de agent in de rede, zeiden “mm-hm”, hoestten of zeiden “wacht even” tegen iemand anders.
Hoeveel verloor spraak?
| Sector | Tekst | Spraak, schone lijn | Spraak, realistische lijn |
|---|---|---|---|
| Alle 278 taken | 85% | 31 tot 51% | 26 tot 38% |
| Retail | 81% | 45 tot 71% | 30 tot 45% |
| Luchtvaart | 83% | 28 tot 48% | 30 tot 40% |
| Telecom | 90% | 20 tot 58% | 18 tot 40% |
“Tekst” is het beste tekstmodel in het onderzoek, GPT-5 met redeneren. Een tweede tekstmodel in het onderzoek, GPT-4.1, dat antwoordt zonder stapsgewijs te redeneren, slaagde in 54% van alle 278 taken. De spraakkolommen geven het laagste en het hoogste van de drie geteste spraakmodellen: Google gemini-live-2.5-flash-native-audio, OpenAI gpt-realtime-1.5 en xAI grok-voice-agent. Bron: τ-Voice, tabel 6.
Het grootste deel van het verschil zat al op de schone lijn, nog voordat er lawaai of een accent bij kwam. Daar scoorden de drie spraakmodellen 34 tot 54 procentpunten onder het beste tekstmodel. Bij de meeste modellen kostte de stap naar de realistische lijn daarbovenop minder dan die eerste daling.
Wat maakte het erger?
Bij de retailtaken voegden de onderzoekers aan de schone lijn eerst één voor één lawaai, accenten en onderbrekingen toe, en daarna alle drie tegelijk.
| Situatie | Slagingspercentage | Verschil met de schone lijn |
|---|---|---|
| Schone lijn | 55% | |
| Schone lijn plus lawaai | 51% | 4 procentpunten lager |
| Schone lijn plus accenten | 44% | 10 procentpunten lager |
| Schone lijn plus onderbrekingen | 47% | 7 procentpunten lager |
| Realistisch (alle drie) | 38% | 17 procentpunten lager |
Gemiddelde van de drie spraakmodellen, alleen retailtaken. De publicatie rondt elk percentage en elk verschil afzonderlijk af, dus een verschil kan 1 procentpunt afwijken van het verschil tussen de twee getoonde percentages. Bron: τ-Voice, tabel 7.
Accenten kostten gemiddeld het meest, maar heel ongelijk verdeeld. Eén spraakmodel verloor met accenten 1 procentpunt en een ander 18. Onderbrekingen kostten twee van de modellen 14 en 11 procentpunten, terwijl het derde er iets beter mee scoorde, 4 procentpunten hoger. Lawaai alleen kostte elk spraakmodel 2 tot 4 procentpunten.
De onderzoekers beoordeelden ook hoe de spraakmodellen het gesprek zelf voerden op de realistische lijn. Het model dat op elke beurt van de klant reageerde en bij elke onderbreking het woord afgaf (100%), negeerde “mm-hm”, hoesten en zijgesprekken maar in 6% van de gevallen terecht, dus het antwoordde ook op geluiden die niet voor dat model bedoeld waren. Volgens de onderzoekers was geen enkel spraakmodel in het onderzoek goed in beide: de taak afronden én het heen en weer van het gesprek aankunnen.
Waar liepen de gesprekken vast?
De onderzoekers lazen 91 mislukte spraakgesprekken met de hand, in twee groepen. Van 43 mislukte gesprekken bij taken die in tekst slaagden maar op de schone lijn mislukten, kwamen er 34 (79%) door de agent en 9 (21%) door de gesimuleerde klant. Van 48 mislukte gesprekken bij taken die op de schone lijn slaagden maar op de realistische lijn mislukten, kwamen er 43 (90%) door de agent en 5 (10%) door de gesimuleerde klant.
| Fout van de agent | Mislukt op de schone lijn | Alleen mislukt op de realistische lijn |
|---|---|---|
| Verkeerde redenering of een overgeslagen stap | 13 | 16 |
| Verstond de klant verkeerd | 10 | 16 |
| Meldde iets te hebben gedaan wat niet gebeurd was | 6 | 6 |
| Reageerde niet meer | 1 | 4 |
| Kwam tijd tekort | 4 | 1 |
| Fouten van de agent, totaal | 34 van 43 | 43 van 48 |
De namen van de rijen in de publicatie zijn logical, transcription, hallucination, VAD/unresponsive en timeout. Bron: τ-Voice, tabel 9.
In beide groepen liepen gesprekken vooral vast op de identiteitscontrole. Agents verstonden namen en e-mailadressen verkeerd, ook als de klant ze letter voor letter spelde, zoals de instructies de agent hadden opgedragen te vragen. Zolang de klant niet was geïdentificeerd, kon er in de taak verder niets gebeuren.
Sommige fouten waren stiller. In één gesprek zei de agent tegen de klant “Ik heb uw verzendadres bijgewerkt” en voerde in het systeem geen wijziging door. Ook verzoeken met meerdere onderdelen gaven problemen, omdat agents één onderdeel uitvoerden en de rest vergaten.
Horen was niet het hele verhaal. In de realistische groep kwamen verkeerd redeneren en verkeerd verstaan even vaak voor, elk bij 16 van de 48 mislukte gesprekken, en de onderzoekers concluderen dat het verschil tussen spraak en tekst niet puur een probleem van spraakherkenning is. Hoe u het verstaan op uw eigen gesprekken test, staat in ons artikel over spraakherkenning kiezen.
Wat laat het niet zien?
Het onderzoek liep alleen in het Engels. De klanten waren gesimuleerd, met synthetische stemmen, en de onderzoekers zeggen dat de uitkomsten over accenten als indicatief moeten worden gelezen. Ook merken ze op dat echte bellers minder geduld hebben dan de gesimuleerde.
Het mat of de taak werd afgerond en hoe de beurtwisseling verliep. Het mat niet hoe de agent klonk, of klanten tevreden waren, of taken die maar deels zijn afgerond.
De scores voor tekst en spraak komen van verschillende modellen. Het beste tekstmodel kan zo lang redeneren als nodig is voordat het antwoordt, terwijl een spraakmodel in real time moet antwoorden. Een deel van het verschil zit dus in het model en niet in de telefoonlijn.
De drie spraakmodellen zijn van hetzelfde type, audio erin en audio eruit, in de versies die tussen december 2025 en februari 2026 verschenen. Agents die uit losse onderdelen voor spraakherkenning, redeneren en spraak zijn opgebouwd, zijn niet getest. Deze cijfers zeggen daar dus niets over, in beide richtingen, en de onderzoekers noemen ze als vervolgonderzoek. De agents werkten ook met een algemene set instructies en de tools van de benchmark. Een agent die voor de gesprekken van één bedrijf is gebouwd en getest, is een andere opzet, en die meet het onderzoek in geen van beide richtingen.
DRING heeft dit onderzoek niet uitgevoerd en is er niet in getest. Modellen veranderen snel, en de cijfers beschrijven de versies die zijn getest.
Wat test u als eerste?
Test uw agent per telefoon. In het onderzoek scoorden dezelfde taken over audio van telefoonkwaliteit lager dan in tekst, en nog lager zodra accenten, lawaai en onderbrekingen erbij kwamen. Een tekstchat of een laptopmicrofoon slaat beide over, terwijl uw bellers in de kolom “Spraak, realistische lijn” thuishoren.
Begin met de identiteitscontrole, want daar liepen de mislukte gesprekken in het onderzoek het vaakst vast. Neem tien namen, e-mailadressen en bestelnummers van het soort dat uw bellers hebben, lees ze voor zoals bellers ze spellen en tel hoeveel de agent er goed heeft.
Open na elk testgesprek het systeem en kijk naar het record. Zei de agent dat het adres is gewijzigd, dan moet het nieuwe adres er staan. Dat ging mis bij het verzendadres in het onderzoek.
Maak de gesprekken daarna moeilijker op de punten waarop de spraakmodellen in het onderzoek aan slagingspercentage verloren. Gebruik de accenten die uw bellers echt hebben. Laat een tester halverwege in de rede vallen, hoesten en “wacht even” tegen een collega zeggen, en let op of de agent antwoordt op het hoesten of het zijgesprek. Geef de agent dan één verzoek met drie onderdelen en controleer of alle drie zijn uitgevoerd.
Noemt een leverancier een slagingspercentage voor zijn voice-agent, vraag dan om het zo geteld als in het onderzoek, dus op wat er in het systeem is veranderd, gemeten met telefoonaudio. Voor een volledig plan behandelt onze gids over een voice-AI-agent testen vóór livegang de testset en de criteria voor livegang.
Mag u deze pagina citeren?
Ja. De publicatie staat onder Creative Commons Naamsvermelding 4.0 Internationaal (CC BY 4.0), en u mag deze samenvatting onder dezelfde voorwaarden hergebruiken, waarbij u eerst de publicatie als bron noemt. Citeer het onderzoek zo.
Ray, S., Dhandhania, K., Barres, V., Narasimhan, K. (2026). τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv:2603.13686.
De code van de benchmark is openbaar op GitHub. Citeert u een getal van deze pagina, noem dan de publicatie en voeg deze regel toe.
Samenvatting: DRING, dring.ai/nl/blog-voice-ai-vs-text-ai
De vijf bevindingen, zo geschreven dat u ze letterlijk kunt overnemen:
- Van 278 klantenservicetaken slaagde het beste tekstmodel in 85%, tegen 31 tot 51% bij de drie spraakmodellen op een schone lijn (τ-Voice, 2026).
- Op een realistische lijn, met accenten, lawaai en onderbrekingen, slaagden de drie spraakmodellen in 26 tot 38%, waarmee spraak volgens de onderzoekers 30 tot 45% behoudt van wat tekst kan (τ-Voice, 2026).
- Bij de retailtaken van het onderzoek kostten accenten de drie spraakmodellen gemiddeld 10 procentpunten aan slagingspercentage, onderbrekingen 7 en achtergrondlawaai 4 (τ-Voice, 2026).
- In 91 mislukte spraakgesprekken die de onderzoekers met de hand lazen, lag de fout in de twee groepen bij 79% en 90% van de gevallen bij de agent zelf, en de identiteitscontrole was het punt waar gesprekken het vaakst vastliepen, met namen en e-mailadressen die verkeerd werden verstaan, ook als de klant ze spelde (τ-Voice, 2026).
- Geen enkel spraakmodel in het onderzoek was goed in zowel de taak afronden als het gesprek voeren, en het model dat op 100% van de beurten van de klant reageerde, negeerde hoesten en zijgesprekken in slechts 6% van de gevallen terecht (τ-Voice, 2026).
Waar komt DRING in beeld?
Het onderzoek mat algemene spraakmodellen die op een regelboek werken. Een DRING-agent is opgebouwd uit losse onderdelen, met geselecteerde modellen voor spraakherkenning, spraaksynthese en redeneren, en met testen en bewaking in het gedeelde fundament waarop hij draait. Dat soort agent zat niet in het onderzoek.
Elke DRING-agent draait 1.000 tot 10.000 gesimuleerde gesprekken, gebouwd voor uw bedrijf, vóór het eerste echte gesprek. Ze worden gegenereerd uit uw eigen workflow, documenten en gespreksopnames, en een agent gaat pas naar productie als hij die set doorstaat, zoals onze kwaliteitspagina beschrijft. De testen onder “Wat test u als eerste?” vraagt u aan elke aanbieder, DRING inbegrepen.
Begin met uw lastigste gesprek
Laat uw nummer achter en DRING belt u binnen twee minuten. Noem het gesprek waar uw team het meest tegen opziet.