为什么语音对 AI 更难?
在 τ-Voice 这项研究里,表现最好的文字模型完成了 278 项客服任务中的 85%,而三个语音模型做同样的任务,在清晰的电话线路上完成 31% 至 51%,在贴近实际的线路上完成 26% 至 38%。
同样的任务,完成的少了一大截
聊天测试里,智能体每个问题都答得上来。可同一个智能体接上电话线路后,来电客户开始要求转人工。
2026 年 3 月发表的一项研究,把这道差距量了出来。τ-Voice(tau-Voice)让文字和语音各做同样的 278 项客服任务。文字这边,研究里表现最好的文字模型完成了 85%。三个语音模型在清晰的电话线路上做同样的任务,完成 31% 至 51%。换到贴近实际的线路,有口音、有背景杂音,客户还会插话,它们完成 26% 至 38%。作者的说法是,语音保留了文字能力的 30% 至 45%。
拿语音 AI 和文字 AI 做比较,任务是相同的,模型却不同。文字的成绩来自一个文字模型,语音的成绩来自三个不同的语音模型。
这项研究测了什么?
τ-Voice 是一套语音 AI 基准测试,作者是旧金山 Sierra.ai 的 Soham Ray、Keshav Dhandhania 和 Victor Barres,以及普林斯顿大学的 Karthik Narasimhan。Sierra 本身就做客服领域的 AI 智能体,所以这项研究出自被测量的行业内部。论文是预印本,截至本文发布时尚未经同行评审。
278 项任务来自零售、航空和电信三个领域。每项任务是一位带着目标的客户,比如换货或更改预订,外加智能体必须遵守的一套公司规则。
只有公司的记录最终落在正确的状态,研究才算这项任务完成,比如改对了订单,或更新对了预订。对话再愉快,什么都没改,或者改错了,也算失败。本文所有任务成功率都按这个口径,论文里叫 pass@1,即一次尝试就解决。
文字这边,文字模型与一个模拟客户打字交流。语音这边,三个语音模型通过一条模拟电话线路,以电话音质同时收听和说话,模拟客户也开口回应。每个语音模型都是单个模型,直接接收音频、输出音频。三个模型拿到的指令相同,其中有一条要求客户逐个字母拼读姓名、邮箱和编号。
每个语音模型跑了两种条件。清晰线路上,客户说的是口音清楚的美式英语,没有背景杂音,也不插话。贴近实际的线路上,客户带着各种口音,周围有室内或户外的背景杂音,还会冒出突发的声响,音频时断时闷。他们还会插话,说“嗯哼”、咳嗽,或者对旁边的人说“等一下”。
语音丢了多少?
| 领域 | 文字 | 语音,清晰线路 | 语音,贴近实际线路 |
|---|---|---|---|
| 全部 278 项任务 | 85% | 31% 至 51% | 26% 至 38% |
| 零售 | 81% | 45% 至 71% | 30% 至 45% |
| 航空 | 83% | 28% 至 48% | 30% 至 40% |
| 电信 | 90% | 20% 至 58% | 18% 至 40% |
“文字”指研究中表现最好的文字模型,即带推理的 GPT-5。研究里另一个文字模型 GPT-4.1 不做逐步推理就直接作答,在全部 278 项任务中完成 54%。语音两列给出的是所测三个语音模型的最低值和最高值,这三个模型是 Google gemini-live-2.5-flash-native-audio、OpenAI gpt-realtime-1.5 和 xAI grok-voice-agent。来源:τ-Voice,表 6。
差距的大头,在清晰线路上就已经出现,当时还没加任何杂音或口音。三个语音模型比最好的文字模型低 34 至 54 个百分点。对其中多数模型来说,换成贴近实际的线路后,额外再掉的分数比这一段少。
什么让情况更糟?
在零售任务上,作者给清晰线路依次单独加入杂音、口音和插话,最后三样一起加。
| 条件 | 任务成功率 | 相比清晰线路的变化 |
|---|---|---|
| 清晰线路 | 55% | |
| 清晰加杂音 | 51% | 低 4 个百分点 |
| 清晰加口音 | 44% | 低 10 个百分点 |
| 清晰加插话 | 47% | 低 7 个百分点 |
| 贴近实际(三项全有) | 38% | 低 17 个百分点 |
三个语音模型的平均值,仅限零售任务。百分比和差值都照论文各自四舍五入后的数字印出,所以某个差值可能与两个百分比相减的结果相差 1 个百分点。来源:τ-Voice,表 7。
口音平均代价最大,但各模型差得很远。一个语音模型加上口音只低了 1 个百分点,另一个低了 18 个。插话让其中两个模型分别低了 14 和 11 个百分点,第三个有了插话反而略好一些,高了 4 个百分点。杂音单独加上去,每个语音模型低 2 至 4 个百分点。
作者还给语音模型在贴近实际的线路上处理对话的表现打了分。其中一个模型对客户的每一轮发言都回应,对每次插话都让出话头(100%),可对“嗯哼”、咳嗽和旁人说话,它只有 6% 的时候正确地忽略了,连不是对它说的声音也答了。在作者看来,研究里没有哪个语音模型既能做完任务,又能处理好对话中的一来一往。
通话在哪里出了问题?
作者人工阅读了 91 段失败的语音对话,分成两组。第一组 43 段,对应在文字里做成、在清晰语音里失败的任务,其中 34 段(79%)是智能体造成的,9 段(21%)是模拟客户造成的。第二组 48 段,对应在清晰语音里做成、在贴近实际的语音里失败的任务,其中 43 段(90%)是智能体造成的,5 段(10%)是模拟客户造成的。
| 智能体的错误 | 在清晰语音中失败 | 仅在贴近实际的语音中失败 |
|---|---|---|
| 推理错误或漏掉一步 | 13 | 16 |
| 听错了客户说的话 | 10 | 16 |
| 说做了某件事,其实没做 | 6 | 6 |
| 不再回应 | 1 | 4 |
| 超时 | 4 | 1 |
| 智能体的错误合计 | 43 段中的 34 段 | 48 段中的 43 段 |
论文里这几行的名称依次是 logical、transcription、hallucination、VAD/unresponsive 和 timeout。来源:τ-Voice,表 9。
两组里,身份验证都是通话出问题最多的地方。即使客户照指令要求的那样逐个字母拼读,智能体还是把姓名和邮箱弄错。客户的身份没确认,任务里的其他事就都没法进行。
有些失败更隐蔽。其中一段对话里,智能体对客户说“我已经帮您更新了收货地址”,系统里却没有做任何修改。包含多个部分的请求也容易出问题,智能体做完其中一件,就忘了其余的。
听不清并不是全部原因。在贴近实际的线路这一组里,推理错误和听错一样多,各占 48 段中的 16 段。作者据此认为,语音与文字之间的差距不单单是语音识别的问题。怎样在您自己的通话上测试听的这一部分,见我们的文章电话语音识别怎么选。
它没有说明什么?
研究只用了英语。客户是模拟的,用的是合成语音,作者说口音方面的结果只能作参考。他们还指出,真实的来电客户没有模拟客户那么有耐心。
它测的是任务有没有做成,以及对话中轮流说话处理得怎么样。它没有测智能体听起来怎么样,客户满不满意,也没有测只完成了一部分的任务。
文字和语音的成绩来自不同的模型。最好的文字模型作答前想多久都行,语音模型却要实时回答,所以差距有一部分来自模型,而不是电话线路。
三个语音模型属于同一类,都是音频进、音频出,版本发布于 2025 年 12 月至 2026 年 2 月之间。由语音识别、推理和语音合成几个独立部分搭起来的智能体没有测,所以这些数字对它们既不说好也不说坏,作者把它们列为后续工作。这些智能体用的是一套通用指令和基准测试自带的工具。为某家公司的通话专门搭建、测试过的智能体是另一种配置,研究没有测它,这些数字对它无论往好处说还是往坏处说都不能作依据。
DRING 没有开展这项研究,也不在这项研究的受测对象之内。模型更新很快,这些数字描述的是当时测试的那些版本。
先测什么?
把测试当成一通电话来做。研究里,同样的任务在电话音质下得分比文字低,加入口音、杂音和插话后又更低。文字聊天或笔记本麦克风两样都没有,而您的来电客户在“语音,贴近实际线路”这一列。
先从身份验证测起,因为研究里失败的通话主要就卡在这里。找十个来电客户那样的姓名、邮箱和订单号,按客户平时拼读的方式念出来,数一数智能体听对了几个。
每通测试电话之后,打开系统看记录。智能体说改了地址,新地址就应该在系统里,研究里收货地址那个例子出的正是这个问题。
接下来,把电话变难,难法就是研究里拉低语音模型任务成功率的那几样。用您的来电客户真有的口音。让测试人员说到一半插话、咳嗽,再对同事说“等一下”,记下智能体有没有回应咳嗽或旁人的话。再给智能体一个分三部分的请求,检查三部分是否都做完了。
供应商为自家语音智能体报出任务成功率时,请对方按研究的口径重算:以系统里实际改变了什么为准,用电话音频来测。想要完整方案,可以看我们的指南上线前怎么测试语音 AI 智能体,里面有测试集和发布门槛。
能引用这一页吗?
可以。论文以 Creative Commons 署名 4.0 国际 (CC BY 4.0) 许可发布,您可以按同样的条款使用这份摘要,并先署上论文。请这样引用这项研究。
Ray, S., Dhandhania, K., Barres, V., Narasimhan, K. (2026). τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv:2603.13686.
基准测试代码已在 GitHub 公开。如果您引用本页的数字,请署上论文,并附上下面这一行。
摘要:DRING,dring.ai/zh/blog-voice-ai-vs-text-ai
下面五条结论,写成了可以原样引用的样子:
- 在研究的 278 项客服任务上,最好的文字模型完成了 85%,三个语音模型在清晰线路上完成 31% 至 51%(τ-Voice,2026)。
- 在有口音、杂音和插话的贴近实际的线路上,三个语音模型完成 26% 至 38%,作者把这描述为保留了文字能力的 30% 至 45%(τ-Voice,2026)。
- 在这项研究的零售任务上,口音使三个语音模型的任务成功率平均低 10 个百分点,插话低 7 个,背景杂音低 4 个(τ-Voice,2026)。
- 在作者人工阅读的 91 段失败语音通话中,两组里分别有 79% 和 90% 的失败是智能体自己的错误;身份验证是通话出问题最多的地方,即使客户逐个字母拼读,姓名和邮箱仍被听错(τ-Voice,2026)。
- 研究中没有哪个语音模型既能做完任务,又能处理好对话;其中对客户每一轮发言都回应(100%)的那个模型,只有 6% 的时候正确忽略了咳嗽和旁人说话(τ-Voice,2026)。
DRING 和这项研究有何关系?
研究测的是照着一套规则办事的通用语音模型。DRING 的智能体由几个独立部分搭成,用的是选定的语音转文字、文字转语音和推理模型,测试与监控由它所运行的共享底座承担,这类智能体不在研究范围内。
每个 DRING 智能体在第一通真实电话之前,都要跑 1,000 至 10,000 次为您的公司专门生成的模拟对话。这些对话来自您自己的业务流程、文档和通话录音,智能体通过这套测试之后才会进入生产环境,详见我们的质量页面。“先测什么?”里的那些测试,可以向任何供应商索要,DRING 也不例外。
延伸阅读: AI 语音智能体是什么?与语音机器人有何不同