产品

Dessa 全双工语音模型实战:自然打断只是入场券

Block 旗下 Dessa 主打全双工语音交互。本文从延迟、误触发率、上下文保持和任务完成率出发,给出语音 Agent 的实战评测清单。

字号

Block 旗下 Dessa 发布全双工语音模型,并登上 Hacker News 首页。它能否把实时语音变成可交付的 Agent?本文给出一套可复现的评测方法。

项目原文:block.xyz/dessa

讨论原文:Hacker News,92 分、26 条评论

Dessa 到底新在哪

传统语音流程通常采用回合制:

  1. 用户开始说话;
  2. 系统判断用户是否说完;
  3. 用户停顿后,模型开始回答;
  4. 用户再等下一轮。

Dessa 试图换成全双工路径。模型输出语音时,仍可继续理解新输入。用户说“别,先别退款”,模型不必等整句结束才决定停下。

项目页面称它是“the most authentic full-duplex speech model ever built”。按页面描述,它支持处理自然打断,并把打断后的语境纳入后续响应,而不是简单取消上一段播放。

这和“播放 TTS 时挂着一个麦克风”不是一回事。后者只能收音,不能实时重写尚未播出的回答。全双工模型需要同时处理三件事:

  • 持续理解用户输入;
  • 判断输入是在补充、质疑,还是要求停止;
  • 根据新语境调整当前响应。

这也是它与固定脚本式语音机器人的主要区别。固定脚本可以插入几句安抚话,但很难处理“把地址改成上海”这类中途修改。

不过,项目页面里的能力描述不能自动等同于可交付效果。模型是否经常误判打断、是否能稳定保留多轮信息,还得看真实测试。

92 分热度背后的真问题

92 分和 26 条评论说明开发者确实关心实时语音。

但讨论热度不能替代评测。线上客服每天可能跑数万通电话。每多一次误打断,就会浪费一次模型生成;每多一次漏打断,用户就得重复。放到支付场景里,这类问题会直接转成工单。

更重要的是,开发者容易把“自然”当成主观感受。

一次演示里,模型在用户开口后 300 毫秒内停下,看起来很聪明。换成嘈杂环境、长上下文或弱网条件,结论可能完全不同。自然对话至少包含三层:

  • 响应速度:延迟够低;
  • 交互判断:知道什么时候该停、该继续;
  • 任务表现:理解变化后仍能把事情做完。

前两层做得再好,任务失败也没有用。

HN 评论区里最值得观察的不是“看起来像真人”的评价,而是开发者会拿什么指标反驳。真实产品团队应该直接测失败样本,而不是截取最好的几段录音。

全双工不等于自然对话

“the most authentic full-duplex speech model ever built”是一句强宣传语,但里面有两个需要拆开的概念。

第一是全双工。这是通信机制:模型说话时仍然接收和理解输入。它解决的是信息流是否可以同时进行。

第二是自然。它属于交互结果:用户不必学习机器的话术,打断也无需重复固定唤醒词。

实现全双工,不保证结果自然。反过来也一样。团队可以预录大量拟真话术,甚至根据用户语速调整停顿,但这仍然是单轮脚本配上较好的节奏控制。

评估时至少应分开记录:

层面 要回答的问题
音频体验 音色、语速、停顿是否适合连续对话
交互体验 模型能否正确区分插话、附和与沉默
任务体验 被打断后能否继续完成原任务

只录一段“用户说到一半改地址”的 demo,覆盖不了“用户咳嗽”“旁边有人讲话”“用户说嗯但没有纠正”等普通情况。

实战评测该测什么

我建议先固定模型版本、音频设备、采样率和网络条件,再记录下面五组指标。

1. 首字延迟

从用户完成意图表达,到首个可感知音频开始播放,统计 P50、P90、P95。

不要只报平均值。客服场景里,P95 更接近大量用户实际感受到的等待。不要把网络延迟和模型延迟混在一起,否则定位问题会很慢。

2. 打断后恢复时间

用户打断后,记录两段时间:

  • 停止延迟:模型从收到打断到停止播放用了多久;
  • 恢复延迟:模型从停止播放到重新给出有效回应用了多久。

停止得快不等于恢复得快。有些实现会立刻静音,然后重新跑一遍完整推理,听感依然笨拙。

3. 误触发率

准备非指令性声音,包括咳嗽、键盘声、环境电视声和简单附和。

建议同时报告:

  • 误停播率;
  • 错误继续播报率;
  • 唤醒词外有效指令的漏识别率。

真实对话里,误触发的破坏通常比漏触发更大。模型突然闭嘴,用户会直接挂断。

4. 多轮上下文保持

连续测试至少 10 轮,并在中途修改关键约束。例如:

“帮我订明天去上海的票。”
“改成后天下午。”
“预算不要超过 800 元。”

观察模型是否继续使用旧日期、旧城市或旧预算。

这类测试比单轮“它记不记得住”更难,因为全双工模型可能保留音频状态,也可能只有一段不断增长的文本上下文。两者在打断后的表现并不相同。

5. 任务完成率

客服场景最后要落到任务结果,而不是聊天评分。

至少记录:

  • 意图识别准确率;
  • 必填信息收集完成率;
  • 工具调用成功率;
  • 端到端任务完成率;
  • 转人工率;
  • 平均处理时长。

还要保留失败转写。不要只留下成功录音。没有失败分布,就不知道问题来自 ASR、对话策略、模型推理,还是下游 API。

语音 Agent 的产品边界

全双工最适合减少用户等待感。

在客服、预约和售后咨询里,用户不必等长答案播放完,可以直接说“不对,是订单 1234”。这对短任务尤其有价值。

陪伴类产品的限制更多。用户愿意多说几句,不等于系统就能无限保存和利用这些内容。录音保存、敏感信息识别、未成年人场景和删除机制都要单独设计。

还有一类任务不能靠“听起来自然”解决:

  • 身份确认;
  • 支付授权;
  • 地址与金额复核;
  • 隐私授权;
  • 退款和订单取消。

这些环节需要确定性工具链兜底。比如语音模型负责收集意图,状态机负责确认当前步骤,工具负责提交动作,关键字段由用户明确复述或按键确认。

一个更稳妥的边界是:

模型负责理解与表达,业务系统负责状态,规则负责授权。

不要因为模型能自然打断,就让它同时承担全部责任。自然交互和强约束执行不是同一件事。

编辑思考

全双工语音真正稀缺的部分,不是“模型能否随时插话”。这项能力已有清楚的技术定义,Block 旗下 Dessa 也把它做成了可发布的产品能力。

更关键的是,打断后能否重新抓住任务。用户说“等等,改成另一个地址”,系统不能只表现出“听到了”,还要知道哪些参数已经失效、哪些步骤要重做。

这次与过去的语音机器人不同:竞争点从脚本是否自然,转向实时状态能否随用户输入持续更新。它因此更接近 AI Agent,而不只是语音界面。

但我还不确定 Dessa 在真实电话环境中的误触发率、长上下文稳定性和端到端任务完成率。92 分与 26 条评论证明需求存在,不证明产品指标已经足够。下一步该看公开评测和失败案例,而不是再看一段完美 demo。

来源: https://block.xyz/dessa