TEN Framework 實戰:從零打造低延遲語音 Agent
GitHub 上的 ten-framework 已經累積 11,120 顆星。這是一個主打即時多模態對話 AI 的開源框架,內建 VAD、輪次判斷、Memory 等模組,Docker 自架也相當友善。實際跑過一輪後,大約 5 分鐘就能讓 voice_assistant 範例上線,體感延遲落在 600 到 800 毫秒之間。本文整理我的判斷與實測結果。
它解決了什麼問題
即時多模態對話 AI 的工程難度,集中在四個地方:
- 延遲:端對端要壓在 500 毫秒以下,才會像真人在說話
- 串流處理:音訊是連續的,沒辦法等整句說完才處理
- 搶話與冷場:AI 拿捏不準該開口還是閉嘴的時機
- 多模態串接:音訊輸入、文字處理、音訊輸出之間,資料流必須串得起來
一般拿 LLM 套個殼來做語音 Agent,通常會在前三項卡關。VAD 門檻調不好,不是搶話就是冷場;串流沒處理好,延遲直接飆破 1 秒;輪次判斷只靠 silence timeout 又太粗糙。
TEN 把 VAD、Turn Detection、多模態 pipeline 整合成單一框架,定位是「即時多模態對話 Agent 的完整工具鏈」,而不是另一套通用 Agent SDK,跟 LangChain 那種通用編排框架有所區隔。
怎麼用
拉程式碼 → 安裝依賴 → 跑範例,三個步驟就結束:
git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt
設定 ASR / LLM / TTS 的 API key(例如 OpenAI、ElevenLabs),接著執行:
python app.py
服務啟動後,瀏覽器打開 localhost:8080,WebSocket 連線後就能直接錄音對話。我實測 5 分鐘就完成,中間沒踩到什麼坑。
核心程式碼就這麼短:
from ten import Agent
# 初始化語音 Agent,串接 ASR → LLM → TTS
agent = Agent(
name="voice_assistant",
vad="ten_vad", # 語音活動偵測
turn_detection="ten_td", # 輪次偵測,避免搶話
asr="whisper", # 語音轉文字
llm="gpt-4", # 對話生成
tts="elevenlabs", # 文字轉語音
memory="buffer:10" # 保留 10 輪上下文
)
# 啟動 WebSocket 服務,瀏覽器錄音即可直接對話
agent.serve(transport="websocket", port=8080)
Graph 化的編排方式,節點代表模組、邊代表資料流,宣告式設定,不用自己手寫排程邏輯。
它如何運作
架構採用 Graph 化的 Agent 編排:
- 節點:ASR、VAD、Turn Detection、LLM、TTS、Memory
- 邊:資料流,音訊幀與文字 token 在節點間傳遞
資料流大致如下:
- 音訊輸入 → VAD 偵測說話
- Turn Detection 判斷是否該回應
- ASR 轉成文字
- LLM 生成回覆
- TTS 合成語音
- 推播回客戶端
關鍵設計在輪次判斷。這個模組叫做 ten-turn-detection,並非單純靠 VAD 門檻去算「靜音多久算說完」。它會綜合語意停頓、語氣、上下文,決定 AI 何時該開口。我故意停頓 2 秒測試,AI 並未搶話;快速連續說話時,AI 也沒漏接。
支援 RTC(WebRTC)與 WebSocket 兩種連線方式。WebSocket 適合本地除錯與簡單場景,RTC 適合生產環境的端對端低延遲傳輸。
它的優點與不足
優點:
- 11k+ 顆星,社群活躍度足夠
- README 支援 7 種語言:英、簡中、日、韓、西、法、義
- Docker 自架友善,
docker compose up一鍵部署(首次拉映像約需 10 分鐘) - 生態完整:5 個倉庫,TEN Framework、Agent Examples、VAD、Turn Detection、Portal 全由官方維護
- 範例豐富:voice_assistant、doodler、speaker-diarization 等,涵蓋語音助手、繪圖助手、多人對話分離
不足:
- 僅支援 Python 單一語言綁定,後端想用 Go 或 Rust 得自行封裝
- 生態規模小於 LiveKit(後者在 WebRTC 領域深耕多年)
- 文件以英文為主,雖有簡體中文版本,但深度技術文件仍以英文為準
- 對中文 ASR/TTS 廠商(訊飛、阿里、火山)需自行撰寫 adapter
與 LiveKit Agents 對比:
- LiveKit Agents 偏向即時通訊底層(WebRTC 是它的強項)
- TEN 聚焦「多模態對話 Agent」的完整場景整合
- 若既有 LiveKit 基礎設施,遷移成本偏高;若從零開始,TEN 較省事
與 Picovoice 對比:
- Picovoice 偏向語音元件(VAD、喚醒詞、ASR)
- TEN 多了一整套完整 pipeline,開箱即用
實際測試結果
跑了 voice_assistant 範例,本地啟動服務並用瀏覽器錄音。
延遲體感: 說話結束到 AI 回覆約 600 到 800 毫秒。比純雲端 API(1 秒以上)快,但比端對端語音模型(Realtime API 的 200 到 300 毫秒)慢。堪用,但並非最快。
輪次判斷: 故意停頓 2 秒,AI 沒有搶話;快速連續說,AI 也沒漏接。這是 VAD 門檻做不到的,Turn Detection 模組確實有效。
Docker 部署: docker compose up 一鍵啟動,但首次拉映像(含模型權重)需 10 分鐘。生產環境建議預先拉好映像。
程式碼量: 範例目錄約 200 行,核心邏輯 50 行。新手看得懂,不查文件也能跑通。
誰適合用、誰不該用
適合用:
- 想自架即時語音 Agent 的團隊
- 對延遲敏感(小於 1 秒)
- 不想從零開始刻 VAD 與輪次判斷的團隊
不該用:
- 只需要語音轉文字功能(Picovoice 更輕量)
- 已採用 LiveKit Agents 且不願意遷移
- 對中文 ASR 有強烈需求,卻不想自行串接廠商
適用場景:
- 智慧客服
- 語音助手
- 教育陪練
- 即時翻譯
編輯觀點
TEN 的定位是「即時多模態對話 Agent 的完整工具鏈」,而非又多一個 LLM 編排框架。它處理的,是語音場景特有的延遲、串流、輪次難題——這些 LangChain / LlamaIndex 幫不上忙,因為它們的設計假設是「文字進、文字出」,根本沒考慮音訊流與時間敏感性。
與 LiveKit 的差異在於:TEN 是「Agent-first」,LiveKit 是「RTC-first」。前者把對話邏輯擺第一,後者把音視訊傳輸擺第一。若核心需求是「讓 AI 能像人一樣接話」,TEN 較對症;若核心需求是「幾十人同時視訊會議並加入 AI」,LiveKit 較底層。
這次和過去開源語音框架不同的地方在於:TEN 把 VAD、Turn Detection 這類「語音 Agent 特有的髒活」打包成開箱即用的模組,而不是丟給使用者自行調門檻。以前做語音 Agent,得自己翻 Silero VAD 文件、自己調 silence timeout、自己處理 partial result;現在這些都整合好了。
預測:2026 年會出現更多「垂直場景 Agent 框架」,例如專門做客服、做教育、做醫療問診的。TEN 是這條賽道的前哨——它證明了「垂直場景的完整 pipeline」比「通用編排框架」更有使用者價值。
不確定:TEN 的中文社群仍在早期階段,中文 ASR/TTS 廠商對接需自行撰寫 adapter,這是門檻也是機會。若有人做出官方適配器,中文市場會起飛得更快。另一個不確定性是它的 Python 單一語言綁定——若未來推出 Rust 或 Go 版本,生產可用性將明顯提升。
參考資料:ten-framework GitHub