Dlaczego głos jest trudniejszy dla AI?
W badaniu τ-Voice najlepszy model tekstowy wykonał 85% z 278 zadań obsługi klienta, a trzy modele głosowe wykonały od 31 do 51% tych zadań na czystej linii telefonicznej i od 26 do 38% na realistycznej.
Te same zadania, wyraźnie mniej wykonanych
W teście na czacie agent odpowiedział na każde pytanie. Potem ten sam agent odebrał telefon i dzwoniący zaczęli prosić o rozmowę z człowiekiem.
Tę różnicę policzyło badanie opublikowane w marcu 2026 roku. W τ-Voice (tau-Voice) te same 278 zadań obsługi klienta wykonywano w tekście i w głosie. W tekście najlepszy model tekstowy w badaniu wykonał 85% z nich. Trzy modele głosowe, które dostały te same zadania na czystej linii telefonicznej, wykonały od 31 do 51%. Na linii realistycznej, z akcentami, hałasem w tle i klientem, który przerywa, wykonały od 26 do 38%. Autorzy opisują to jako zachowanie od 30 do 45% możliwości tekstu.
Porównując głosową AI z tekstową, trzeba pamiętać, że zadania były te same, a modele nie. Wynik w tekście pochodzi od modelu tekstowego, a wyniki w głosie od trzech różnych modeli audio.
Co sprawdzało badanie?
τ-Voice to benchmark agentów głosowych AI, który napisali Soham Ray, Keshav Dhandhania i Victor Barres z Sierra.ai w San Francisco oraz Karthik Narasimhan z Princeton University. Sierra buduje agentów AI do obsługi klienta, więc badanie powstało wewnątrz branży, którą mierzy. Praca jest preprintem i w dniu publikacji tego wpisu nie przeszła recenzji naukowej.
278 zadań pochodzi z trzech obszarów: handlu, linii lotniczych i telekomunikacji. Każde zadanie to klient z celem, na przykład wymianą towaru albo zmianą rezerwacji, oraz zestaw zasad firmy, których agent musi przestrzegać.
Badanie uznaje zadanie za wykonane tylko wtedy, gdy po rozmowie dane firmy są w poprawnym stanie: zmieniono właściwe zamówienie albo zaktualizowano właściwą rezerwację. Miła rozmowa, po której nic się nie zmieniło albo zmieniło się coś innego, liczy się jako porażka. Każdy odsetek wykonanych zadań na tej stronie to właśnie ta miara (w pracy pass@1, czyli zadania wykonane za pierwszym razem).
W tekście model tekstowy pisał z symulowanym klientem. W głosie trzy modele głosowe jednocześnie słuchały i mówiły przez symulowaną linię telefoniczną z dźwiękiem o jakości telefonicznej, a symulowany klient odpowiadał głosem. Każdy z nich przyjmuje dźwięk i oddaje dźwięk, wszystko w jednym modelu. Wszystkie dostały te same instrukcje, w tym zasadę, żeby prosić klientów o przeliterowanie imion i nazwisk, adresów e-mail i identyfikatorów litera po literze.
Każdy model głosowy działał w dwóch warunkach. Na czystej linii klient mówił wyraźnym amerykańskim akcentem, bez hałasu w tle i bez przerywania. Na realistycznej linii klienci mówili z różnymi akcentami, na tle hałasu w pomieszczeniu i na zewnątrz, nagłych dźwięków oraz urwanego albo przytłumionego dźwięku, a do tego przerywali, mruczeli „mhm”, kaszlali albo rzucali „chwileczkę” do kogoś innego.
Ile stracił głos?
| Obszar | Tekst | Głos, czysta linia | Głos, realistyczna linia |
|---|---|---|---|
| Wszystkie 278 zadań | 85% | od 31 do 51% | od 26 do 38% |
| Handel | 81% | od 45 do 71% | od 30 do 45% |
| Linie lotnicze | 83% | od 28 do 48% | od 30 do 40% |
| Telekomunikacja | 90% | od 20 do 58% | od 18 do 40% |
„Tekst” to najlepszy model tekstowy w badaniu, GPT-5 z rozumowaniem. Drugi model tekstowy z badania, GPT-4.1, który odpowiada bez rozumowania krok po kroku, wykonał 54% ze wszystkich 278 zadań. Kolumny głosowe podają najniższy i najwyższy wynik spośród trzech przetestowanych modeli głosowych: Google gemini-live-2.5-flash-native-audio, OpenAI gpt-realtime-1.5 i xAI grok-voice-agent. Źródło: τ-Voice, tabela 6.
Większość różnicy pojawiła się już na czystej linii, zanim dodano hałas czy akcent. Trzy modele głosowe uzyskały tam od 34 do 54 punktów procentowych mniej niż najlepszy model tekstowy, a u większości z nich przejście na linię realistyczną kosztowało już mniej.
Co pogorszyło wynik?
W zadaniach z handlu autorzy dodawali do czystej linii hałas, akcenty i przerywanie po kolei, a na końcu wszystkie trzy naraz.
| Warunki | Wykonane zadania | Zmiana względem linii czystej |
|---|---|---|
| Czysta | 55% | |
| Czysta plus hałas | 51% | o 4 pkt proc. mniej |
| Czysta plus akcenty | 44% | o 10 pkt proc. mniej |
| Czysta plus przerywanie | 47% | o 7 pkt proc. mniej |
| Realistyczna (wszystkie trzy) | 38% | o 17 pkt proc. mniej |
Średnia z trzech modeli głosowych, tylko zadania z handlu. Odsetki i różnice podano tak, jak zaokrągliła je praca, więc różnica może odbiegać o 1 punkt od wyniku odejmowania. Źródło: τ-Voice, tabela 7.
Akcenty kosztowały średnio najwięcej, ale bardzo nierówno. Jeden model głosowy stracił z akcentami 1 punkt procentowy, a inny 18. Przerywanie kosztowało dwa modele odpowiednio 14 i 11 punktów, a trzeci wypadł z nim nieco lepiej, o 4 punkty wyżej. Sam hałas kosztował każdy model głosowy od 2 do 4 punktów.
Autorzy ocenili też, jak modele głosowe prowadziły samą rozmowę na realistycznej linii. Model, który odpowiadał na każdą wypowiedź klienta i ustępował przy każdym przerwaniu (100%), prawidłowo ignorował „mhm”, kaszel i rozmowy z kimś obok tylko w 6% przypadków, więc odpowiadał też na dźwięki, które nie były do niego. Zdaniem autorów żaden model głosowy w badaniu nie radził sobie dobrze zarówno z wykonaniem zadania, jak i z prowadzeniem rozmowy.
Gdzie psuły się rozmowy?
Autorzy przeczytali ręcznie 91 nieudanych rozmów głosowych, podzielonych na dwie grupy. W pierwszej, 43 rozmowy z zadań udanych w tekście i nieudanych na czystej linii głosowej, agent zawinił w 34 (79%), a symulowany klient w 9 (21%). W drugiej, 48 rozmów z zadań udanych na czystej linii i nieudanych na realistycznej, agent zawinił w 43 (90%), a symulowany klient w 5 (10%).
| Błąd agenta | Nieudane na czystej linii | Nieudane tylko na realistycznej linii |
|---|---|---|
| Błędne rozumowanie albo pominięty krok | 13 | 16 |
| Źle usłyszał, co powiedział klient | 10 | 16 |
| Powiedział, że coś zrobił, choć tego nie zrobił | 6 | 6 |
| Przestał odpowiadać | 1 | 4 |
| Skończył się czas | 4 | 1 |
| Błędy agenta, razem | 34 z 43 | 43 z 48 |
Nazwy tych wierszy w pracy to logical, transcription, hallucination, VAD/unresponsive i timeout. Źródło: τ-Voice, tabela 9.
W obu grupach głównym miejscem, gdzie rozmowy się psuły, była weryfikacja tożsamości. Agenci mylili imiona i nazwiska oraz adresy e-mail nawet wtedy, gdy klient przeliterował je litera po literze, tak jak instrukcja kazała agentowi prosić. Bez zidentyfikowanego klienta nic innego w zadaniu nie mogło się wydarzyć.
Część porażek była cichsza. W jednej rozmowie agent powiedział klientowi: „Adres dostawy jest już zaktualizowany”, a w systemie niczego nie zmienił. Kłopot sprawiały też prośby składające się z kilku części, bo agenci wykonywali jedną i zapominali o reszcie.
Samo słyszenie nie wyjaśnia wszystkiego. W grupie realistycznej błędne rozumowanie i przesłyszenia zdarzały się równie często, po 16 z 48 porażek, a autorzy wnioskują, że różnica między głosem a tekstem nie sprowadza się wyłącznie do rozpoznawania mowy. Jak sprawdzić, czy agent dobrze słyszy, na własnych rozmowach, opisujemy we wpisie o wyborze modelu rozpoznawania mowy.
Czego badanie nie pokazuje?
Badanie przeprowadzono wyłącznie po angielsku. Klienci byli symulowani, z głosami syntetycznymi, a autorzy zastrzegają, że wyniki dotyczące akcentów trzeba czytać jako orientacyjne. Zaznaczają też, że prawdziwi dzwoniący są mniej cierpliwi niż symulowani.
Mierzono, czy zadanie zostało wykonane i jak układała się wymiana wypowiedzi. Nie sprawdzano brzmienia agenta, zadowolenia klientów ani zadań wykonanych tylko częściowo.
Wyniki w tekście i w głosie pochodzą od różnych modeli. Najlepszy model tekstowy może rozumować tak długo, jak potrzebuje, zanim odpowie, a model głosowy musi odpowiadać w czasie rzeczywistym, więc część różnicy wynika z modelu, a nie z linii telefonicznej.
Wszystkie trzy modele głosowe są tego samego rodzaju, z dźwiękiem na wejściu i na wyjściu, w wersjach wydanych od grudnia 2025 do lutego 2026. Agentów zbudowanych z osobnych części, od rozpoznawania mowy, przez rozumowanie, po syntezę mowy, nie testowano, więc te liczby nic o nich nie mówią w żadną stronę, a autorzy wymieniają ich jako temat dalszych prac. Agenci pracowali też z ogólnym zestawem instrukcji i narzędziami benchmarku, a agent zbudowany i przetestowany pod rozmowy jednej firmy to inny układ, którego badanie nie mierzy ani na plus, ani na minus.
DRING nie prowadził tego badania i nie został w nim przetestowany. Modele szybko się zmieniają, a liczby opisują wersje, które przetestowano.
Co przetestować najpierw?
Test warto przeprowadzić jako rozmowę telefoniczną. W badaniu te same zadania wypadały gorzej przy dźwięku o jakości telefonicznej niż w tekście, a jeszcze gorzej po dodaniu akcentów, hałasu i przerywania. Czat tekstowy i mikrofon w laptopie pomijają jedno i drugie, a Państwa dzwoniący są w kolumnie „Głos, realistyczna linia”.
Najlepiej zacząć od weryfikacji tożsamości, bo w badaniu to właśnie ona była głównym miejscem, w którym rozmowy się psuły. Wystarczy wziąć dziesięć imion i nazwisk, adresów e-mail i numerów zamówień takich, jakie mają Państwa dzwoniący, przeczytać je tak, jak dzwoniący je literują, i policzyć, ile agent zapisał poprawnie.
Po każdej rozmowie testowej warto otworzyć system i obejrzeć zapis. Jeśli agent powiedział, że zmienił adres, nowy adres powinien tam być, a właśnie to poszło źle w historii z adresem dostawy w badaniu.
Potem warto utrudnić rozmowy w sposób, który w badaniu obniżył wynik modeli głosowych. Warto użyć akcentów, jakie naprawdę mają Państwa dzwoniący. Niech tester w połowie rozmowy przerwie, zakaszle i powie „chwileczkę” do kolegi, a Państwo zobaczą, czy agent odpowiada na kaszel albo na rozmowę z kimś obok. Na koniec niech poda agentowi jedną prośbę z trzech części i sprawdzi, czy wykonano wszystkie trzy.
Gdy dostawca podaje liczbę wykonanych zadań swojego agenta głosowego, warto poprosić o wynik policzony tak jak w badaniu: według tego, co zmieniło się w systemie, na dźwięku telefonicznym. Pełny plan opisuje nasz poradnik o testowaniu agenta głosowego AI przed uruchomieniem, razem ze zbiorem testów i kryteriami wydania.
Czy można zacytować tę stronę?
Tak. Praca jest opublikowana na licencji Uznanie autorstwa 4.0 Międzynarodowe (CC BY 4.0), więc to streszczenie można wykorzystać na tych samych zasadach, wskazując najpierw pracę. Badanie cytuje się w ten sposób.
Ray, S., Dhandhania, K., Barres, V., Narasimhan, K. (2026). τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv:2603.13686.
Kod benchmarku jest publiczny na GitHub. Jeśli cytują Państwo liczbę z tej strony, prosimy wskazać pracę i dodać tę linię.
Streszczenie: DRING, dring.ai/pl/blog-voice-ai-vs-text-ai
Pięć ustaleń, zapisanych tak, żeby można je zacytować w całości:
- W badaniu na 278 zadaniach obsługi klienta najlepszy model tekstowy wykonał 85% zadań, a trzy modele głosowe od 31 do 51% na czystej linii telefonicznej (τ-Voice, 2026).
- Na realistycznej linii, z akcentami, hałasem i przerywaniem, trzy modele głosowe w badaniu wykonały od 26 do 38% zadań, co autorzy opisują jako zachowanie od 30 do 45% możliwości tekstu (τ-Voice, 2026).
- W zadaniach z handlu w badaniu akcenty obniżyły odsetek wykonanych zadań u trzech modeli głosowych średnio o 10 punktów procentowych, przerywanie o 7, a hałas w tle o 4 (τ-Voice, 2026).
- W 91 nieudanych rozmowach głosowych, które autorzy przeczytali ręcznie, błędem samego agenta było 79% porażek w jednej grupie i 90% w drugiej, a głównym miejscem, w którym rozmowy się psuły, była weryfikacja tożsamości, z przesłyszanymi imionami i nazwiskami oraz adresami e-mail nawet po przeliterowaniu (τ-Voice, 2026).
- Żaden model głosowy w badaniu nie radził sobie dobrze zarówno z wykonaniem zadania, jak i z prowadzeniem rozmowy, a ten, który odpowiadał na 100% wypowiedzi klienta, prawidłowo ignorował kaszel i rozmowy z kimś obok tylko w 6% przypadków (τ-Voice, 2026).
Jak do tego pasuje DRING?
Badanie mierzyło ogólne modele głosowe pracujące według zbioru reguł. Agent DRING składa się z osobnych części, czyli wybranych modeli rozpoznawania mowy, syntezy mowy i rozumowania, a testy i monitoring mieszczą się we wspólnym fundamencie, na którym działa. Takiego agenta w badaniu nie było.
Każdy agent DRING przechodzi od 1 000 do 10 000 symulowanych rozmów, przygotowanych dla Państwa firmy, zanim odbierze pierwszą prawdziwą rozmowę. Powstają z Państwa procesu, dokumentów i nagrań rozmów, a agent trafia na produkcję dopiero po przejściu tego zestawu, co opisujemy na stronie o jakości. Testy z części „Co przetestować najpierw?” warto zamówić u każdego dostawcy, także u DRING.
Warto przeczytać: Czym jest agent głosowy AI (voicebot) i jak działa
Zacznij od najtrudniejszej rozmowy
Wystarczy zostawić numer, a DRING oddzwoni w dwie minuty. Prosimy tylko powiedzieć, której rozmowy Państwa zespół obawia się najbardziej.