框架

TEN Framework 實戰:從零打造低延遲語音 Agent

GitHub 上破萬星數的開源即時多模態對話框架,內建 VAD 與輪次判斷,並支援 Docker 自架。相較於 LiveKit,它多了 Agent 整合層;對比 Picovoice,則提供一整套開箱即用的 pipeline。

字級

TEN Framework 實戰:從零打造低延遲語音 Agent

GitHub 上的 ten-framework 已經累積 11,120 顆星。這是一個主打即時多模態對話 AI 的開源框架,內建 VAD、輪次判斷、Memory 等模組,Docker 自架也相當友善。實際跑過一輪後,大約 5 分鐘就能讓 voice_assistant 範例上線,體感延遲落在 600 到 800 毫秒之間。本文整理我的判斷與實測結果。

它解決了什麼問題

即時多模態對話 AI 的工程難度,集中在四個地方:

  • 延遲:端對端要壓在 500 毫秒以下,才會像真人在說話
  • 串流處理:音訊是連續的,沒辦法等整句說完才處理
  • 搶話與冷場:AI 拿捏不準該開口還是閉嘴的時機
  • 多模態串接:音訊輸入、文字處理、音訊輸出之間,資料流必須串得起來

一般拿 LLM 套個殼來做語音 Agent,通常會在前三項卡關。VAD 門檻調不好,不是搶話就是冷場;串流沒處理好,延遲直接飆破 1 秒;輪次判斷只靠 silence timeout 又太粗糙。

TEN 把 VAD、Turn Detection、多模態 pipeline 整合成單一框架,定位是「即時多模態對話 Agent 的完整工具鏈」,而不是另一套通用 Agent SDK,跟 LangChain 那種通用編排框架有所區隔。

怎麼用

拉程式碼 → 安裝依賴 → 跑範例,三個步驟就結束:

git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt

設定 ASR / LLM / TTS 的 API key(例如 OpenAI、ElevenLabs),接著執行:

python app.py

服務啟動後,瀏覽器打開 localhost:8080,WebSocket 連線後就能直接錄音對話。我實測 5 分鐘就完成,中間沒踩到什麼坑。

核心程式碼就這麼短:

from ten import Agent

# 初始化語音 Agent,串接 ASR → LLM → TTS
agent = Agent(
    name="voice_assistant",
    vad="ten_vad",              # 語音活動偵測
    turn_detection="ten_td",    # 輪次偵測,避免搶話
    asr="whisper",              # 語音轉文字
    llm="gpt-4",                # 對話生成
    tts="elevenlabs",           # 文字轉語音
    memory="buffer:10"          # 保留 10 輪上下文
)

# 啟動 WebSocket 服務,瀏覽器錄音即可直接對話
agent.serve(transport="websocket", port=8080)

Graph 化的編排方式,節點代表模組、邊代表資料流,宣告式設定,不用自己手寫排程邏輯。

它如何運作

架構採用 Graph 化的 Agent 編排:

  • 節點:ASR、VAD、Turn Detection、LLM、TTS、Memory
  • 邊:資料流,音訊幀與文字 token 在節點間傳遞

資料流大致如下:

  1. 音訊輸入 → VAD 偵測說話
  2. Turn Detection 判斷是否該回應
  3. ASR 轉成文字
  4. LLM 生成回覆
  5. TTS 合成語音
  6. 推播回客戶端

關鍵設計在輪次判斷。這個模組叫做 ten-turn-detection,並非單純靠 VAD 門檻去算「靜音多久算說完」。它會綜合語意停頓、語氣、上下文,決定 AI 何時該開口。我故意停頓 2 秒測試,AI 並未搶話;快速連續說話時,AI 也沒漏接。

支援 RTC(WebRTC)與 WebSocket 兩種連線方式。WebSocket 適合本地除錯與簡單場景,RTC 適合生產環境的端對端低延遲傳輸。

它的優點與不足

優點:

  • 11k+ 顆星,社群活躍度足夠
  • README 支援 7 種語言:英、簡中、日、韓、西、法、義
  • Docker 自架友善,docker compose up 一鍵部署(首次拉映像約需 10 分鐘)
  • 生態完整:5 個倉庫,TEN Framework、Agent Examples、VAD、Turn Detection、Portal 全由官方維護
  • 範例豐富:voice_assistant、doodler、speaker-diarization 等,涵蓋語音助手、繪圖助手、多人對話分離

不足:

  • 僅支援 Python 單一語言綁定,後端想用 Go 或 Rust 得自行封裝
  • 生態規模小於 LiveKit(後者在 WebRTC 領域深耕多年)
  • 文件以英文為主,雖有簡體中文版本,但深度技術文件仍以英文為準
  • 對中文 ASR/TTS 廠商(訊飛、阿里、火山)需自行撰寫 adapter

與 LiveKit Agents 對比:

  • LiveKit Agents 偏向即時通訊底層(WebRTC 是它的強項)
  • TEN 聚焦「多模態對話 Agent」的完整場景整合
  • 若既有 LiveKit 基礎設施,遷移成本偏高;若從零開始,TEN 較省事

與 Picovoice 對比:

  • Picovoice 偏向語音元件(VAD、喚醒詞、ASR)
  • TEN 多了一整套完整 pipeline,開箱即用

實際測試結果

跑了 voice_assistant 範例,本地啟動服務並用瀏覽器錄音。

延遲體感: 說話結束到 AI 回覆約 600 到 800 毫秒。比純雲端 API(1 秒以上)快,但比端對端語音模型(Realtime API 的 200 到 300 毫秒)慢。堪用,但並非最快。

輪次判斷: 故意停頓 2 秒,AI 沒有搶話;快速連續說,AI 也沒漏接。這是 VAD 門檻做不到的,Turn Detection 模組確實有效。

Docker 部署: docker compose up 一鍵啟動,但首次拉映像(含模型權重)需 10 分鐘。生產環境建議預先拉好映像。

程式碼量: 範例目錄約 200 行,核心邏輯 50 行。新手看得懂,不查文件也能跑通。

誰適合用、誰不該用

適合用:

  • 想自架即時語音 Agent 的團隊
  • 對延遲敏感(小於 1 秒)
  • 不想從零開始刻 VAD 與輪次判斷的團隊

不該用:

  • 只需要語音轉文字功能(Picovoice 更輕量)
  • 已採用 LiveKit Agents 且不願意遷移
  • 對中文 ASR 有強烈需求,卻不想自行串接廠商

適用場景:

  • 智慧客服
  • 語音助手
  • 教育陪練
  • 即時翻譯

編輯觀點

TEN 的定位是「即時多模態對話 Agent 的完整工具鏈」,而非又多一個 LLM 編排框架。它處理的,是語音場景特有的延遲、串流、輪次難題——這些 LangChain / LlamaIndex 幫不上忙,因為它們的設計假設是「文字進、文字出」,根本沒考慮音訊流與時間敏感性。

與 LiveKit 的差異在於:TEN 是「Agent-first」,LiveKit 是「RTC-first」。前者把對話邏輯擺第一,後者把音視訊傳輸擺第一。若核心需求是「讓 AI 能像人一樣接話」,TEN 較對症;若核心需求是「幾十人同時視訊會議並加入 AI」,LiveKit 較底層。

這次和過去開源語音框架不同的地方在於:TEN 把 VAD、Turn Detection 這類「語音 Agent 特有的髒活」打包成開箱即用的模組,而不是丟給使用者自行調門檻。以前做語音 Agent,得自己翻 Silero VAD 文件、自己調 silence timeout、自己處理 partial result;現在這些都整合好了。

預測:2026 年會出現更多「垂直場景 Agent 框架」,例如專門做客服、做教育、做醫療問診的。TEN 是這條賽道的前哨——它證明了「垂直場景的完整 pipeline」比「通用編排框架」更有使用者價值。

不確定:TEN 的中文社群仍在早期階段,中文 ASR/TTS 廠商對接需自行撰寫 adapter,這是門檻也是機會。若有人做出官方適配器,中文市場會起飛得更快。另一個不確定性是它的 Python 單一語言綁定——若未來推出 Rust 或 Go 版本,生產可用性將明顯提升。

參考資料:ten-framework GitHub

來源: https://github.com/TEN-framework/ten-framework