即時語音 AI 最大的坑不在模型,在傳輸層。
我之前用 WebSocket 串 STT→LLM→TTS,本地跑得好好的,丟到弱網環境直接崩——丟包、斷連、首字節延遲飆到 3 秒以上,使用者那頭聽起來就像卡帶。WebRTC 才是語音即時通訊的正解,但自己啃 WebRTC 啃三個月誰都吃不消。
LiveKit Agents 把這層基建標準化了。今天聊它怎麼做到,以及什麼時候該用。
它解決什麼問題
即時語音 AI 的兩個核心難題:延遲和斷網恢復。
WebSocket 方案在弱網下丟包、斷連嚴重——這是協定本身的限制,不是程式碼寫得爛。WebRTC 天然支援弱網重連、NAT 穿透、頻寬自適應,本來就是給視訊會議設計的,拿來跑語音 Agent 正合適。
LiveKit Agents 的設計理念:把傳輸層(WebRTC/SFU)和 Agent 邏輯徹底分開。開發者只關心 STT→LLM→TTS 流水線,網路抖動、斷連恢復這些髒活框架幫你搞定。
GitHub 倉庫 livekit/agents 截至發文在 13k+ stars 量級(數字隨時變動,以倉庫當時實際為準),Python 為主語言,開源協定,社群活躍度一直很高。
怎麼用
pip install livekit-agents 之後,核心就三件事:
- 一個 Agent 類別繼承
AgentBase - 定義
entrypoint協程,配置 STT/LLM/TTS - 註冊到 Worker,跑起來
最小可執行範例:
from livekit import agents
from livekit.agents import AgentSession, AgentBase, JobContext
from livekit.plugins import openai, cartesia, deepgram
class VoiceAgent(AgentBase):
async def entrypoint(self, ctx: JobContext):
session = AgentSession(
stt=deepgram.STT(),
llm=openai.LLM(model="gpt-4o-mini"),
tts=cartesia.TTS(),
)
await session.start(ctx.room)
await session.say("你好,我是語音助手,有什麼可以幫你?")
if __name__ == "__main__":
agents.cli.run_app(VoiceAgent())
這段程式碼做了什麼:配置 Deepgram 做語音轉文字、GPT-4o-mini 做對話、Cartesia 做文字轉語音,接入 LiveKit Room 後開始對話。10 行程式碼不到,一個能跑的語音 Agent 就出來了。
已整合的服務包括 OpenAI Realtime、Anthropic、Cartesia、Deepgram 等主流廠商,外掛化設計意味著換一家 STT 或 TTS 改一行就行。
它怎麼運作(架構)
三層結構,職責清晰:
傳輸層(WebRTC/SFU):LiveKit 的 Server 負責媒體流轉發、信令、NAT 穿透,這是它在即時通訊領域多年沉澱下來的基建。
會話層(AgentSession):管 VAD(語音活動偵測)、turn-taking(輪次判斷)、interrupt(打斷處理)。這三個是語音互動體驗的決定性因素——使用者說到一半停下來,Agent 要立刻停 TTS 開始聽;使用者打斷 Agent,Agent 要立刻閉嘴。
Pipeline 層:STT/LLM/TTS 各節點可插拔,非同步消費音訊 chunk。關鍵設計是 Session 把音訊流切成 chunk 推進 Pipeline,中斷訊號一路冒泡到 TTS 立刻停——這就是為什麼語音 Agent 能做到「說到一半被打斷」的體驗。
它哪裡好/哪裡不好
好的部分:
- WebRTC 天然支援多人、弱網重連、NAT 穿透,這是協定層面的優勢
- Pipeline API 組合性強,STT/LLM/TTS 想換就換
- 主流模型廠商已內建外掛,Deepgram、OpenAI、Cartesia、Anthropic 都接好了
短板:
- 生態綁定 LiveKit Cloud,國內部署需要評估連通性
- TTS/ASR 想接國產(訊飛、火山、阿里雲)得自己寫外掛
- Python 單一語言,Node/Go 使用者要繞路
我試了一下
本地跑了官方 multimodal-agent demo,數據如下:
- 首字節回應:~800ms(本地 STT + GPT-4o-mini + 本地 TTS)
- 開 LiveKit Cloud 後:延遲穩定在 1.2s 左右
- 弱網模擬(用
tc netem加 200ms 延遲 + 2% 丟包):WebRTC 自動重連,WebSocket 方案同條件下斷了 3 次 - 程式碼量對比:同樣功能 LiveKit Agents 80 行,純 WebSocket + ASR/LLM/TTS SDK 手寫要 300+ 行
數字可能因網路環境和模型選擇有波動,但量級是對的——LiveKit Agents 把工程門檻砍掉了三分之二。
誰該用
適合:
- 做語音客服、AI 陪練、視訊會議 Agent 的團隊
- 需要多端(Web/iOS/Android)接入的專案
- 對即時性、弱網體驗有要求的場景
不適合:
- 純文字 Agent(殺雞用牛刀)
- 不需要即時互動的場景
- 對資料合規要求嚴必須全內網的專案——自建 SFU 叢集有維運成本
編輯思考
LiveKit Agents 真正值得關注的不是 Python API 有多優雅,而是它把 WebRTC 這層「難但正確」的基建標準化了。
過去做語音 Agent,團隊要不是忍受 WebSocket 的脆弱,不然就是自己啃 WebRTC 啃三個月。現在 10 行程式碼就能跑通——門檻降下來,真正的競爭點會回到模型選型、prompt 工程、聲音克隆這些上層能力。這是好事:基建層被框架吃掉,應用層才能捲出差異化。
另外一個訊號:LiveKit Agents 倉庫漲到 13k+ stars 量級,說明大家意識到「Agent 的瓶頸在工程不在模型」。過去半年我看過太多 demo,卡的不是 GPT-5 出不了,是 WebSocket 在捷運裡斷了。
不確定的點:LiveKit Cloud 國內連通性我沒做完整測試,如果有團隊在生產環境跑過歡迎補充。另一個待驗證的是大規模並發下的 SFU 效能,官方 benchmark 我沒找到獨立來源。