Martin Fowler 的文章 LLM Voice 並不是新模型的發布。它探討的是一個更具體、也更棘手的問題:如何將 LLM 導入即時語音應用。
文章登上 Hacker News 首頁後,獲得 210 分與 123 則留言。這組數字顯示開發者相當關注,但討論熱度不代表方案已經成熟。事實上,留言區提到的實作成本與架構分歧,反而揭露語音 Agent 距離穩定的產品體驗仍有一段距離。
原文:https://martinfowler.com/bliki/LLM-Voice.html
Hacker News 討論:https://news.ycombinator.com/item?id=50290177
核心議題:不是新模型發布
Fowler 沒有推出新的語音模型,也沒有提出新的 benchmark。原文是一篇關於架構與工程方法的討論,焦點放在串流處理、延遲、打斷與狀態管理。
這一點很重要。
語音能力可以來自 ASR、LLM、TTS,也可以由某個端到端語音模型提供。然而,產品是否可用,並不是由「最後一句回答是否正確」決定。使用者說完話後等了兩秒,Agent 才開始回答;或者助手正在說話,使用者已經喊「停」,它卻仍把整段內容念完——這些體驗問題,往往比偶爾的用詞不準更致命。
因此,評估 LLM Voice 不能只看模型參數或文字問答分數。即時語音是一整條系統鏈路,每個環節都可能增加等待時間、遺失字詞或造成狀態錯誤。
反直覺觀點:會對話不等於能使用
最常見的原型通常這樣搭建:
- 錄音。
- 呼叫 ASR,將音訊轉成文字。
- 把文字傳給 LLM。
- 把回答傳給 TTS。
- 播放音訊。
程式可以執行,示範也能完成,但它更接近一條錄音留言鏈路,而不是即時語音 Agent。
真正的難題有三個:
- 端到端延遲。使用者說完後,系統必須盡快確認已聽見內容,並開始產生可播放的語音。
- 串流輸出。等待完整回答產生後再進行合成,雖然節省架構複雜度,卻犧牲了對話感。
- 意外打斷。使用者可能會改變問題、糾正助手、要求暫停,甚至只是重複一句話。Agent 必須辨識這些行為,而不是繼續執行舊任務。
所以,「把 ASR、LLM 與 TTS 串起來」只是連接工作。真正決定產品體驗的,是連接之後的狀態控制。
架構拆解:一條即時語音鏈路
一條即時語音鏈路可以拆成五層。
1. 音訊擷取
這一層必須持續取得音訊,而不是等使用者完全結束說話後才送出。麥克風通常會產生固定長度的 frame,例如每 20 毫秒或 30 毫秒一幀。
但擷取不代表所有音訊都要送去辨識。語音活動偵測(VAD)可以協助判斷使用者是否開始或結束說話。不過,固定門檻在噪音、停頓與自然語速下很容易誤判。較可靠的方案,是結合 VAD、ASR 的中間結果與伺服器狀態機。
2. 語音辨識
ASR 最好採用串流處理。系統需要持續輸出 partial transcript,讓應用知道使用者已經說了什麼,並提早判斷是否出現打斷。
完整 transcript 則用來產生最終意圖。這裡存在一項常見取捨:串流辨識速度較快,卻可能隨著上下文變化而修正早期文字;分段辨識較準確,卻會延後請求送入 LLM 的時間。
實際系統通常需要兩者並行:partial transcript 用於即時狀態,final transcript 則用於可靠執行。
3. LLM 推理
LLM 同樣適合以串流方式輸出 token。關鍵不只是儘快產生第一個 token,而是儘快產生第一個可播放的語音片段。
這代表 LLM、文本正規化、TTS 與播放之間應採用 pipeline,而不是逐一等待。第一句產生後就能送入 TTS;TTS 輸出首批音訊後,播放器便可開始發聲,後續句子則繼續生成與合成。
如果回答很短,這種做法效果很好。如果回答需要呼叫天氣、訂單或資料庫,延遲結構就會改變。此時,「先說一句正在查詢」與「直接呼叫工具」之間,需要依產品需求取捨。
4. 語音合成
TTS 也應支援串流輸入與輸出。將完整文字一次合成,音质較穩定,但使用者必須等待完整答案;逐句切分可以更快開口,卻可能在不適合的語意邊界切斷句子。
一種實用的折衷方式是按完整句子分段。不要只為了節省幾十毫秒,就把段落拆成聽起來破碎的短句。
5. 播放
播放層必須支援取消、沖刷與替換。否則即使使用者已經打斷,舊的音訊佇列仍可能繼續播放。
更麻煩的是回聲與自我打斷。揚声器播放的助手聲音可能被麥克風重新擷取,誤判成使用者開始說話。系統需要 playback state、AEC 或其他回聲抑制手段,避免 Agent 把自己打斷。
整條鏈路可以概括為:
microphone frames
-> streaming ASR + VAD
-> streaming LLM
-> sentence chunks
-> streaming TTS
-> cancellable audio playback
這不是唯一可行的實作方式,但比「一次錄音、一次回答」更接近即時語音產品。
工程難題:打斷與狀態管理
打斷是語音 Agent 的一道硬門檻。
使用者開口時,系統至少可能面對三種意圖:
- 只是補充資訊;
- 修改或取消原請求;
- 展開一段全新對話。
不能一律視為「停止播放」。系統必須掌握 Agent 當前的狀態:正在聆聽、正在思考、正在呼叫工具、正在播報,還是等待確認。
一個可以落地的狀態機可以分成:
IDLE -> LISTENING -> THINKING -> SPEAKING
^ | | |
| +---- USER_INTERRUPT ----+
+-----------------------------------+
但真實實作不能只看狀態名稱。每次打斷還必須處理 request ID、播放 generation ID,以及工具呼叫的生命週期。
取消播放,不等於取消請求
使用者說「停」,可能只是不想聽語音,但背景查詢仍應繼續;也可能是在要求取消整個任務。兩者不能混為一談。
較穩妥的做法是分層取消:
- 立即取消目前的音訊播放;
- 將目前的對話輪次標記為失效;
- 丟棄尚未消費、屬於舊輪次的 LLM 與 TTS 輸出;
- 針對外部工具呼叫,單獨決定是否取消。
上下文重播
串流 ASR 會不斷修正辨識結果。LLM 可能已根據舊 transcript 發出請求,甚至開始呼叫工具。當新 transcript 抵達時,系統不能只是把新文字附加到歷史紀錄中,否則會同時保留「舊問題」與「新問題」。
較可靠的做法,是替每個對話輪次配置 ID,並記錄該輪使用的 transcript 版本。新的辨識結果取代舊版本後,只有仍然有效的請求才能繼續執行。
對於已發出的工具呼叫,必須區分「取消 HTTP 請求」與「忽略遲到的結果」。後者經常被忽略:當工具已完成時,Agent 仍可能把舊結果注入新的對話。
Agent 工具呼叫
語音 Agent 比純文字 Agent 多了一層不確定性。使用者看不到長篇文字,也不容易確認系統「正在執行哪個操作」。
涉及付款、刪除或傳送訊息等動作時,系統應提供簡短且可被打斷的確認。確認後如果使用者改口,就要撤銷舊的確認狀態,而不是繼續執行。
工具呼叫期間也不一定需要完全靜默。一句「我正在查訂單」可以降低等待焦慮,但這句話本身同樣涉及延遲與打斷問題。是否播報,應依工具耗時決定:能在幾十毫秒內完成的操作可以靜默執行,耗時較長的操作則先提供狀態回饋。
評估方式:別只看回答準確率
Fowler 的文章沒有提供明確的新基準或量化效能數據,因此不應假裝已有一套現成且統一的標準。
但團隊可以先建立自己的系統級指標。
首包延遲
從使用者結束說話,到系統開始播放第一段有效語音所需的時間。這個指標比「首個 token 延遲」更接近使用者的實際感受。
測量時必須明確定義起訖點:是最後一個音訊 frame 抵達伺服器,還是伺服器偵測到使用者說完?是首段 TTS 音訊寫入完成,還是真的透過揚声器播放?不同口徑會產生很大的數據落差。
整體回應時間
從使用者結束說話,到語音回答完成的時間。這個指標適合評估長回答與工具呼叫,但不能取代首包延遲。
打斷恢復時間
從使用者發出打斷,到舊音訊停止且系統進入正確狀態所需的時間。如果使用者說「停」後,助手還繼續說三秒,這項指標就失去意義。
工具呼叫成功率
至少應區分以下項目:
- 是否正確選取工具;
- 參數是否正確;
- 被打斷後是否錯誤執行;
- 遲到的結果是否污染目前對話;
- 需要確認的動作是否正確確認或取消。
語音與狀態一致性
最終文字正確,不代表即時過程正確。測試範圍還應涵蓋噪音、重複、搶話、長時間停頓、網路抖動與 ASR 文字修正。
可以使用簡單腳本記錄關鍵時間點,再搭配人工標註,判斷使用者是否願意繼續對話:
from time import perf_counter
start = perf_counter()
first_audio_at = None
# 在實際實作中替換為串流 TTS 的首個音訊 callback
for chunk in audio_chunks():
if first_audio_at is None:
first_audio_at = perf_counter()
print(f"first_packet_ms={(first_audio_at - start) * 1000:.1f}")
play(chunk)
這不是完整的評測框架,只是一個計時入口。正式環境還應記錄 request ID、transcript 版本、打斷事件與工具呼叫狀態,否則很難定位延遲究竟來自哪一層。
編輯觀點:語音 Agent 的產品邊界
語音不會直接取代現有介面。鍵盤、按鈕與網頁仍具有優勢:內容可搜尋、可編輯、可快速掃描,也適合處理複雜輸入。語音更可能成為現有產品的新入口,而非唯一介面。
這次與過去 ASR 助手不同之處,在於 LLM 已進入即時互動迴圈。舊系統通常遵循「轉寫—查詢—播報」的流程;LLM Voice 則可能一邊理解、一邊推理、一邊執行工具,還要隨時處理使用者的反悔。系統狀態也從單純的請求鏈,變成持續變動的狀態機。
語音 Agent 的競爭重點,不會只在音色是否自然。首包延遲、打斷恢復速度與遲到結果的隔離,更像真正的產品護城河。模型可以替換,架構與評測卻很難臨時補齊。
目前仍不確定的是,端到端語音模型是否會很快消除大部分 ASR—LLM—TTS 架構問題。即使真的能,工具執行、權限控管、確認機制與狀態管理仍然留在應用層。模型變快,並不會自動讓取消請求變得可靠。