Block 旗下的 Dessa 推出全雙工語音模型,並登上 Hacker News 首頁。它能否將即時語音轉化為真正可交付的 Agent?以下整理一套可重現的評測方法。
專案介紹:block.xyz/dessa
Dessa 的新意在哪裡
傳統語音流程通常採回合制:
- 使用者開始說話;
- 系統判斷使用者是否說完;
- 使用者停頓後,模型開始回答;
- 使用者再等待下一輪。
Dessa 試著改採全雙工模式。模型輸出語音時,仍能持續理解新輸入。使用者說「等等,先不要退款」時,模型不必等整句話結束才決定停下。
專案頁面稱其為「the most authentic full-duplex speech model ever built」。依頁面描述,它能處理自然打斷,並將被打斷後的語境納入後續回應,而不是單純取消先前的播放。
這和「播放 TTS 時同時開著麥克風」並不相同。後者只能收音,無法即時改寫尚未播出的答案。全雙工模型必須同時處理三件事:
- 持續理解使用者輸入;
- 判斷輸入是在補充、質疑,還是要求停止;
- 依新語境調整當前回應。
這也是它與固定腳本式語音機器人的主要差異。固定腳本可以插入幾句安撫話,卻難以處理「把地址改成上海」這類中途修改。
不過,專案頁面的能力描述不等於實際可交付成效。模型是否經常誤判打斷、能否穩定保留多輪資訊,仍須透過真實測試驗證。
92 分熱度背後的關鍵問題
92 分與 26 則留言,顯示開發者確實關心即時語音應用。
但討論熱度不能取代評測。線上客服每天可能處理數萬通電話。每多一次誤打斷,就浪費一次模型生成;每多一次漏打斷,使用者就得重複說一次。進入支付情境後,這類問題會直接轉化為客服工單。
更重要的是,開發者容易把「自然」當成主觀感受。
示範中,模型在使用者開口後 300 毫秒內停止,看起來很聰明。換成吵雜環境、長上下文或弱網路條件,結論可能完全不同。自然對話至少包含三個層次:
- 回應速度:延遲夠低;
- 互動判斷:知道何時該停、何時該繼續;
- 任務表現:理解變化後仍能把事情完成。
前兩層就算表現再好,任務未能完成也沒有用。
HN 留言區最值得觀察的,不是「看起來像真人」的評價,而是開發者會提出哪些指標來反駁。真實產品團隊應直接測試失敗樣本,而不是只挑出幾段最成功的錄音。
全雙工不等於自然對話
「the most authentic full-duplex speech model ever built」是一句強烈宣傳語,但其中包含兩個需要拆開的概念。
第一個是全雙工。這是一種通訊機制:模型說話時,仍持續接收並理解輸入,解決的是資訊能否同時流動的問題。
第二個是自然。這屬於互動結果:使用者不必學習機器的固定話術,打斷時也無須重複喚醒詞。
實現全雙工,不代表結果必然自然,反之亦然。團隊可以預錄大量擬真話術,甚至依使用者語速調整停頓,但這仍只是單輪腳本搭配較好的節奏控制。
評測時至少應分開記錄:
| 層面 | 需要回答的問題 |
|---|---|
| 音訊體驗 | 音色、語速與停頓是否適合連續對話 |
| 互動體驗 | 模型能否正確區分插話、附與與沉默 |
| 任務體驗 | 被打斷後能否繼續完成原任務 |
只錄一段「使用者說到一半更改地址」的 demo,無法涵蓋「使用者咳嗽」「旁邊有人說話」「使用者只說嗯但沒有更正內容」等常見情況。
實戰評測該測什麼
建議先固定模型版本、音訊裝置、取樣率與網路條件,再記錄以下五組指標。
1. 首字延遲
從使用者完成意圖表達,到第一段可感知音訊開始播放,統計 P50、P90、P95。
不要只公布平均值。客服情境中,P95 更接近大量使用者實際感受到的等待時間。網路延遲與模型延遲也應分開記錄,否則問題定位會非常耗時。
2. 打斷後恢復時間
使用者打斷後,記錄兩段時間:
- 停止延遲:模型從收到打斷到停止播放花了多久;
- 恢復延遲:模型從停止播放到重新給出有效回應花了多久。
停止得快不代表恢復得快。有些實作會立即靜音,接著重新執行一次完整推理,聽起來依然笨拙。
3. 誤觸發率
準備非指令性聲音,包括咳嗽、鍵盤聲、環境中的電視聲,以及簡單的附和聲。
建議同時公布:
- 誤停播率;
- 錯誤繼續播報率;
- 喚醒詞以外有效指令的漏辨識率。
真實對話中,誤觸發的破壞通常比漏觸發更大。模型突然閉嘴,使用者往往會直接掛斷。
4. 多輪上下文保持
連續測試至少 10 輪,並在過程中修改關鍵限制。例如:
「幫我訂明天去上海的票。」
「改成後天下午。」
「預算不要超過 800 元。」
觀察模型是否繼續使用舊日期、舊城市或舊預算。
這類測試比單輪確認「它記不記得住」更困難,因為全雙工模型可能保留音訊狀態,也可能只有一段持續增長的文字上下文。兩者在打斷後的表現並不相同。
5. 任務完成率
客服情境最後要落到任務結果,而非聊天評分。
至少記錄:
- 意圖辨識準確率;
- 必要資訊收集完成率;
- 工具呼叫成功率;
- 端到端任務完成率;
- 轉人工率;
- 平均處理時長。
失敗案例的逐字稿也必須保留。不要只留下成功錄音。若沒有失敗分布,就無法判斷問題來自 ASR、對話策略、模型推理,還是下游 API。
語音 Agent 的產品邊界
全雙工最能減少使用者的等待感。
在客服、預約與售後諮詢中,使用者不必等完整答案播放完,可以直接說「不對,是訂單 1234」。這對短任務尤其有价值。
陪伴類產品的限制則更多。使用者願意多說幾句,不代表系統就能無限保存與利用這些內容。錄音保存、敏感資訊辨識、未成年使用情境與刪除機制,都需要另行設計。
還有一類任務,無法靠「聽起來自然」解決:
- 身分確認;
- 支付授權;
- 地址與金額複核;
- 隱私授權;
- 退款與訂單取消。
這些環節需要具確定性的工具鏈作為安全網。例如,由語音模型收集意圖,狀態機確認目前步驟,工具負責提交動作,關鍵欄位則要求使用者明確複述或按鍵確認。
更穩健的職責邊界是:
模型負責理解與表達,業務系統負責狀態,規則負責授權。
不要因為模型能自然處理打斷,就讓它同時承擔所有責任。自然互動與強約束執行並不是同一件事。
編輯觀點
全雙工語音真正稀缺的部分,不是模型能否隨時插話。這項能力已有清楚的技術定義,Block 旗下的 Dessa 也將它做成可發布的產品能力。
更關鍵的是,打斷後能否重新掌握任務。使用者說「等等,改成另一個地址」時,系統不能只表現出「聽到了」,還必須知道哪些參數已失效、哪些步驟必須重做。
這次與過去的語音機器人不同:競爭重點從腳本是否自然,轉向即時狀態能否隨使用者輸入持續更新。因此,它更接近 AI Agent,而不只是語音介面。
不過,Dessa 在真實電話環境中的誤觸發率、長上下文穩定性與端到端任務完成率,仍有待確認。92 分與 26 則留言證明需求存在,卻不能證明產品指標已經足夠。下一步應關注公開評測與失敗案例,而不是再看一段完美的 demo。