观点

LLM Voice 深度解析:语音 Agent 的难点不是会说话

Martin Fowler 讨论语音大模型与实时应用架构。真正难的环节,不只是把 ASR、LLM 和 TTS 串起来,而是控制端到端延迟、打断与系统状态。

字号

Martin Fowler 的文章 LLM Voice 不是一次新模型发布。它讨论的是更具体、也更棘手的问题:怎样把 LLM 放进实时语音应用。

文章登上 Hacker News 首页后,获得 210 分和 123 条评论。这组数字说明开发者关心它,但讨论热度不等于方案已经成熟。恰恰相反,评论区里的实现成本和架构分歧,暴露了语音 Agent 距离稳定产品还有一段距离。

原文:https://martinfowler.com/bliki/LLM-Voice.html
Hacker News 讨论:https://news.ycombinator.com/item?id=50290177

新闻本体:不是新模型发布

Fowler 没有发布一个新语音模型,也没有给出新的 benchmark。原文是一篇架构与工程方法论讨论,重点围绕流式处理、延迟、打断和状态管理。

这点很重要。

语音能力可以来自 ASR、LLM、TTS,也可以来自某个端到端语音模型。但产品是否可用,不由“最后一句回答是否正确”决定。用户说了一句话,等了两秒,Agent 才开始回答;或者助手正在播报,用户已经说“停”,它却继续说完全文——这些体验比偶尔用词不准确更致命。

因此,评价 LLM Voice 不能只看模型参数或文本问答分数。实时语音是一整条系统链路,每个阶段都可能增加等待、丢字或状态错误。

反共识:对话能力不等于可用

最常见的原型通常这样搭:

  1. 录音。
  2. 调用 ASR,把音频转成文本。
  3. 把文本交给 LLM。
  4. 把回答交给 TTS。
  5. 播放音频。

代码能跑,演示也能做。但它更像一条录音留言链路,而不是实时语音 Agent。

真正的难点有三条:

  • 端到端延迟。 用户说完后,系统需要尽快确认听到了,并开始生成可播放的语音。
  • 流式输出。 等完整回答生成后再合成,省了架构复杂度,却牺牲了对话感。
  • 意外打断。 用户可能改变问题、纠正助手、要求暂停,甚至只是重复了一遍。Agent 必须识别这些行为,而不是继续执行旧任务。

所以,“把 ASR、LLM 和 TTS 串起来”只是连接工作。决定产品体验的是连接之后的状态控制。

架构拆解:一条实时语音链路

一条实时语音链路可以拆成五层。

1. 音频采集

这一层要持续拿到音频,而不是等用户彻底结束后再提交。麦克风通常会形成固定长度的帧,例如每 20 毫秒或 30 毫秒一帧。

但采集不等于全部送去做识别。语音活动检测(VAD)可以帮助判断用户是否开始或结束说话。不过,固定阈值很容易在噪声、停顿和自然语速下误判。更可靠的方案是结合 VAD、ASR 的中间结果和服务端状态机。

2. 语音识别

ASR 最好采用流式处理。系统需要持续输出 partial transcript,让应用知道用户已经说了什么,并尽早判断是否出现打断。

完整 transcript 则用于生成最终意图。这里存在一个常见取舍:流式识别更快,但可能随着上下文变化而修正早期文本;分段识别准确一些,却会推迟请求进入 LLM 的时间。

实际系统往往需要两者并存:partial transcript 用于实时状态,final transcript 用于可靠执行。

3. LLM 推理

LLM 同样适合流式输出 token。关键不只是尽快生成第一个 token,而是尽快生成第一个可播放的语音片段。

这意味着 LLM、文本规范化、TTS 和播放之间要做流水线,而不是串行等待。第一句生成后就可以送入 TTS;TTS 输出首批音频后,播放器就能开始出声。后续句子继续生成和合成。

如果回答很短,效果很好。如果回答需要调用天气、订单或数据库,延迟结构会变化。此时“先说一句正在查询”与“直接调用工具”之间,需要做产品取舍。

4. 语音合成

TTS 也应支持流式输入与输出。完整文本一次合成,音质稳定,但用户要等完整答案;按句切分能更快开口,却可能在不合适的语义边界切断句子。

一种实用的折中是按完整句子分段。不要为了几十毫秒收益,把段落拆成听上去破碎的短句。

5. 播放

播放层必须支持取消、冲刷和替换。否则即使用户已经打断,旧的音频队列仍可能继续播放。

更麻烦的是回声与自我打断。扬声器播放的助手声音可能被麦克风重新采集,误判成用户开口。系统需要 playback state、AEC 或其他回声抑制手段,避免 Agent 把自己打断。

整个链路可概括成:

microphone frames
  -> streaming ASR + VAD
  -> streaming LLM
  -> sentence chunks
  -> streaming TTS
  -> cancellable audio playback

这不是唯一实现,但它比“一次录音,一次回答”更接近实时语音产品。

工程难点:打断与状态管理

打断是语音 Agent 的一道硬门槛。

用户开口时,系统至少有三种可能意图:

  • 只是补充信息;
  • 修改或取消原请求;
  • 开启一段全新对话。

不能一律按“停止播放”处理。系统需要知道当前 Agent 状态:正在听、正在思考、正在调用工具、正在播报,还是等待确认。

一个可落地的状态机可以这样划分:

IDLE -> LISTENING -> THINKING -> SPEAKING
  ^         |           |          |
  |         +---- USER_INTERRUPT ----+
  +-----------------------------------+

但真实实现不能只看状态名。每次打断还要处理请求 ID、播放 generation ID 和工具调用生命周期。

取消播放,不等于取消请求

用户说“停”,可能只是不想听语音,但后台查询仍应继续;也可能要求取消整个任务。两者不能混在一起。

比较稳妥的做法是分层取消:

  • 立即取消当前音频播放;
  • 标记当前对话轮次失效;
  • 丢弃尚未消费、属于旧轮次的 LLM 与 TTS 输出;
  • 对外部工具调用单独决定是否取消。

上下文重放

流式 ASR 会不断修正识别结果。LLM 可能已经基于旧 transcript 发出请求,甚至开始调用工具。当新 transcript 到来时,系统不能简单地把新文本追加到历史里,否则会同时保留“旧问题”和“新问题”。

更可靠的做法是给对话轮次分配 ID,并记录该轮使用的 transcript 版本。新的识别结果替换旧版本后,只有仍然有效的请求才能继续执行。

对于已发出的工具调用,需要区分“取消 HTTP 请求”和“忽略迟到结果”。后者常被忽略:工具已经完成时,Agent 仍可能把旧结果注入新对话。

Agent 工具调用

语音 Agent 比纯文本 Agent 多了一层不确定性。用户看不到长文本,也不容易确认“正在执行哪个操作”。

涉及付款、删除、发送消息等动作时,系统应给出简短、可打断的确认。确认之后如果用户改口,要撤销旧确认状态,而不是继续执行。

工具调用期间也未必需要完全静默。一句“我正在查订单”可以降低等待焦虑,但这句话本身也有延迟和被打断问题。要不要播报,应根据工具耗时决定:几十毫秒内返回的操作可以静默执行,耗时较长的操作则先给状态反馈。

评估方法:别只看回答准确率

Fowler 的文章没有给出明确的新基准或量化性能数据。因此,不应假装已经有一套现成、统一的标准。

但团队可以先建立自己的系统级指标。

首包延迟

从用户结束说话,到系统开始播放第一段有效语音的时间。它比“首个 token 延迟”更接近用户感受。

测量时要明确起止点:是最后一个音频帧到达服务端,还是服务端检测到用户说完?是首段 TTS 音频写入,还是真正通过扬声器播放?口径不同,结果会差很多。

整体响应时间

从用户结束说话,到语音回答完成。它适合评估长回答和工具调用,但不能替代首包延迟。

打断恢复时间

用户发出打断,到旧音频停止且系统进入正确状态的时间。如果用户说“停”后,助手还继续讲三秒,这个指标就没有意义。

工具调用成功率

至少应区分:

  • 工具是否正确选中;
  • 参数是否正确;
  • 被打断后是否错误执行;
  • 迟到结果是否污染当前对话;
  • 需要确认的动作是否被正确确认或取消。

语音与状态一致性

最终文本正确,不代表实时过程正确。还应测试噪声、重复、抢话、长停顿、网络抖动和 ASR 文本修正。

可以用简单脚本记录关键时间点,再配合人工标注判断用户是否愿意继续对话:

from time import perf_counter

start = perf_counter()
first_audio_at = None

# 在实际实现中替换为流式 TTS 的首个音频回调
for chunk in audio_chunks():
    if first_audio_at is None:
        first_audio_at = perf_counter()
        print(f"first_packet_ms={(first_audio_at - start) * 1000:.1f}")
    play(chunk)

这不是完整评测框架,只是一个计时入口。生产环境还应记录 request ID、transcript 版本、打断事件和工具调用状态,否则很难定位延迟来自哪一层。

编辑思考:语音 Agent 的产品边界

语音不会简单替代现有界面。键盘、按钮和网页仍有优势:它们可检索、可编辑、可扫描,也适合处理复杂输入。语音更可能成为现有产品的新入口,而不是唯一界面。

这次与过去的 ASR 助手不同之处,在于 LLM 正进入实时交互回路。旧系统通常是“转写—查询—播报”,LLM Voice 则可能一边理解、一边推理、一边执行工具,还要随时处理人的反悔。系统状态从一条请求链,变成持续变化的状态机。

我的判断是,语音 Agent 的竞争点不会只是音色自然度。首包延迟、打断恢复和迟到结果隔离,更像产品护城河。模型可以替换,架构和评测却很难临时补上。

不确定的是,端到端语音模型会不会很快消除大部分 ASR—LLM—TTS 架构问题。即使会,工具执行、权限控制、确认机制和状态管理仍然留在应用层。模型变快,不会自动让取消请求变得可靠。

来源: https://martinfowler.com/bliki/LLM-Voice.html