觀點

LLM Voice 深度解析:語音 Agent 真正的難題在即時互動

語音 Agent 的關鍵不在於能不能自然說話,而在於能否控制端到端延遲、處理即時打斷,並維持一致的系統狀態。本文拆解串流 ASR、LLM 與 TTS 的實時架構,也提出一套更貼近產品體驗的評估方式。

字級

Martin Fowler 的文章 LLM Voice 並不是新模型的發布。它探討的是一個更具體、也更棘手的問題:如何將 LLM 導入即時語音應用。

文章登上 Hacker News 首頁後,獲得 210 分與 123 則留言。這組數字顯示開發者相當關注,但討論熱度不代表方案已經成熟。事實上,留言區提到的實作成本與架構分歧,反而揭露語音 Agent 距離穩定的產品體驗仍有一段距離。

原文:https://martinfowler.com/bliki/LLM-Voice.html
Hacker News 討論:https://news.ycombinator.com/item?id=50290177

核心議題:不是新模型發布

Fowler 沒有推出新的語音模型,也沒有提出新的 benchmark。原文是一篇關於架構與工程方法的討論,焦點放在串流處理、延遲、打斷與狀態管理。

這一點很重要。

語音能力可以來自 ASR、LLM、TTS,也可以由某個端到端語音模型提供。然而,產品是否可用,並不是由「最後一句回答是否正確」決定。使用者說完話後等了兩秒,Agent 才開始回答;或者助手正在說話,使用者已經喊「停」,它卻仍把整段內容念完——這些體驗問題,往往比偶爾的用詞不準更致命。

因此,評估 LLM Voice 不能只看模型參數或文字問答分數。即時語音是一整條系統鏈路,每個環節都可能增加等待時間、遺失字詞或造成狀態錯誤。

反直覺觀點:會對話不等於能使用

最常見的原型通常這樣搭建:

  1. 錄音。
  2. 呼叫 ASR,將音訊轉成文字。
  3. 把文字傳給 LLM。
  4. 把回答傳給 TTS。
  5. 播放音訊。

程式可以執行,示範也能完成,但它更接近一條錄音留言鏈路,而不是即時語音 Agent。

真正的難題有三個:

  • 端到端延遲。使用者說完後,系統必須盡快確認已聽見內容,並開始產生可播放的語音。
  • 串流輸出。等待完整回答產生後再進行合成,雖然節省架構複雜度,卻犧牲了對話感。
  • 意外打斷。使用者可能會改變問題、糾正助手、要求暫停,甚至只是重複一句話。Agent 必須辨識這些行為,而不是繼續執行舊任務。

所以,「把 ASR、LLM 與 TTS 串起來」只是連接工作。真正決定產品體驗的,是連接之後的狀態控制。

架構拆解:一條即時語音鏈路

一條即時語音鏈路可以拆成五層。

1. 音訊擷取

這一層必須持續取得音訊,而不是等使用者完全結束說話後才送出。麥克風通常會產生固定長度的 frame,例如每 20 毫秒或 30 毫秒一幀。

但擷取不代表所有音訊都要送去辨識。語音活動偵測(VAD)可以協助判斷使用者是否開始或結束說話。不過,固定門檻在噪音、停頓與自然語速下很容易誤判。較可靠的方案,是結合 VAD、ASR 的中間結果與伺服器狀態機。

2. 語音辨識

ASR 最好採用串流處理。系統需要持續輸出 partial transcript,讓應用知道使用者已經說了什麼,並提早判斷是否出現打斷。

完整 transcript 則用來產生最終意圖。這裡存在一項常見取捨:串流辨識速度較快,卻可能隨著上下文變化而修正早期文字;分段辨識較準確,卻會延後請求送入 LLM 的時間。

實際系統通常需要兩者並行:partial transcript 用於即時狀態,final transcript 則用於可靠執行。

3. LLM 推理

LLM 同樣適合以串流方式輸出 token。關鍵不只是儘快產生第一個 token,而是儘快產生第一個可播放的語音片段。

這代表 LLM、文本正規化、TTS 與播放之間應採用 pipeline,而不是逐一等待。第一句產生後就能送入 TTS;TTS 輸出首批音訊後,播放器便可開始發聲,後續句子則繼續生成與合成。

如果回答很短,這種做法效果很好。如果回答需要呼叫天氣、訂單或資料庫,延遲結構就會改變。此時,「先說一句正在查詢」與「直接呼叫工具」之間,需要依產品需求取捨。

4. 語音合成

TTS 也應支援串流輸入與輸出。將完整文字一次合成,音质較穩定,但使用者必須等待完整答案;逐句切分可以更快開口,卻可能在不適合的語意邊界切斷句子。

一種實用的折衷方式是按完整句子分段。不要只為了節省幾十毫秒,就把段落拆成聽起來破碎的短句。

5. 播放

播放層必須支援取消、沖刷與替換。否則即使使用者已經打斷,舊的音訊佇列仍可能繼續播放。

更麻煩的是回聲與自我打斷。揚声器播放的助手聲音可能被麥克風重新擷取,誤判成使用者開始說話。系統需要 playback state、AEC 或其他回聲抑制手段,避免 Agent 把自己打斷。

整條鏈路可以概括為:

microphone frames
  -> streaming ASR + VAD
  -> streaming LLM
  -> sentence chunks
  -> streaming TTS
  -> cancellable audio playback

這不是唯一可行的實作方式,但比「一次錄音、一次回答」更接近即時語音產品。

工程難題:打斷與狀態管理

打斷是語音 Agent 的一道硬門檻。

使用者開口時,系統至少可能面對三種意圖:

  • 只是補充資訊;
  • 修改或取消原請求;
  • 展開一段全新對話。

不能一律視為「停止播放」。系統必須掌握 Agent 當前的狀態:正在聆聽、正在思考、正在呼叫工具、正在播報,還是等待確認。

一個可以落地的狀態機可以分成:

IDLE -> LISTENING -> THINKING -> SPEAKING
  ^         |           |          |
  |         +---- USER_INTERRUPT ----+
  +-----------------------------------+

但真實實作不能只看狀態名稱。每次打斷還必須處理 request ID、播放 generation ID,以及工具呼叫的生命週期。

取消播放,不等於取消請求

使用者說「停」,可能只是不想聽語音,但背景查詢仍應繼續;也可能是在要求取消整個任務。兩者不能混為一談。

較穩妥的做法是分層取消:

  • 立即取消目前的音訊播放;
  • 將目前的對話輪次標記為失效;
  • 丟棄尚未消費、屬於舊輪次的 LLM 與 TTS 輸出;
  • 針對外部工具呼叫,單獨決定是否取消。

上下文重播

串流 ASR 會不斷修正辨識結果。LLM 可能已根據舊 transcript 發出請求,甚至開始呼叫工具。當新 transcript 抵達時,系統不能只是把新文字附加到歷史紀錄中,否則會同時保留「舊問題」與「新問題」。

較可靠的做法,是替每個對話輪次配置 ID,並記錄該輪使用的 transcript 版本。新的辨識結果取代舊版本後,只有仍然有效的請求才能繼續執行。

對於已發出的工具呼叫,必須區分「取消 HTTP 請求」與「忽略遲到的結果」。後者經常被忽略:當工具已完成時,Agent 仍可能把舊結果注入新的對話。

Agent 工具呼叫

語音 Agent 比純文字 Agent 多了一層不確定性。使用者看不到長篇文字,也不容易確認系統「正在執行哪個操作」。

涉及付款、刪除或傳送訊息等動作時,系統應提供簡短且可被打斷的確認。確認後如果使用者改口,就要撤銷舊的確認狀態,而不是繼續執行。

工具呼叫期間也不一定需要完全靜默。一句「我正在查訂單」可以降低等待焦慮,但這句話本身同樣涉及延遲與打斷問題。是否播報,應依工具耗時決定:能在幾十毫秒內完成的操作可以靜默執行,耗時較長的操作則先提供狀態回饋。

評估方式:別只看回答準確率

Fowler 的文章沒有提供明確的新基準或量化效能數據,因此不應假裝已有一套現成且統一的標準。

但團隊可以先建立自己的系統級指標。

首包延遲

從使用者結束說話,到系統開始播放第一段有效語音所需的時間。這個指標比「首個 token 延遲」更接近使用者的實際感受。

測量時必須明確定義起訖點:是最後一個音訊 frame 抵達伺服器,還是伺服器偵測到使用者說完?是首段 TTS 音訊寫入完成,還是真的透過揚声器播放?不同口徑會產生很大的數據落差。

整體回應時間

從使用者結束說話,到語音回答完成的時間。這個指標適合評估長回答與工具呼叫,但不能取代首包延遲。

打斷恢復時間

從使用者發出打斷,到舊音訊停止且系統進入正確狀態所需的時間。如果使用者說「停」後,助手還繼續說三秒,這項指標就失去意義。

工具呼叫成功率

至少應區分以下項目:

  • 是否正確選取工具;
  • 參數是否正確;
  • 被打斷後是否錯誤執行;
  • 遲到的結果是否污染目前對話;
  • 需要確認的動作是否正確確認或取消。

語音與狀態一致性

最終文字正確,不代表即時過程正確。測試範圍還應涵蓋噪音、重複、搶話、長時間停頓、網路抖動與 ASR 文字修正。

可以使用簡單腳本記錄關鍵時間點,再搭配人工標註,判斷使用者是否願意繼續對話:

from time import perf_counter

start = perf_counter()
first_audio_at = None

# 在實際實作中替換為串流 TTS 的首個音訊 callback
for chunk in audio_chunks():
    if first_audio_at is None:
        first_audio_at = perf_counter()
        print(f"first_packet_ms={(first_audio_at - start) * 1000:.1f}")
    play(chunk)

這不是完整的評測框架,只是一個計時入口。正式環境還應記錄 request ID、transcript 版本、打斷事件與工具呼叫狀態,否則很難定位延遲究竟來自哪一層。

編輯觀點:語音 Agent 的產品邊界

語音不會直接取代現有介面。鍵盤、按鈕與網頁仍具有優勢:內容可搜尋、可編輯、可快速掃描,也適合處理複雜輸入。語音更可能成為現有產品的新入口,而非唯一介面。

這次與過去 ASR 助手不同之處,在於 LLM 已進入即時互動迴圈。舊系統通常遵循「轉寫—查詢—播報」的流程;LLM Voice 則可能一邊理解、一邊推理、一邊執行工具,還要隨時處理使用者的反悔。系統狀態也從單純的請求鏈,變成持續變動的狀態機。

語音 Agent 的競爭重點,不會只在音色是否自然。首包延遲、打斷恢復速度與遲到結果的隔離,更像真正的產品護城河。模型可以替換,架構與評測卻很難臨時補齊。

目前仍不確定的是,端到端語音模型是否會很快消除大部分 ASR—LLM—TTS 架構問題。即使真的能,工具執行、權限控管、確認機制與狀態管理仍然留在應用層。模型變快,並不會自動讓取消請求變得可靠。

來源: https://martinfowler.com/bliki/LLM-Voice.html