框架

LiveKit Agents 實戰:10 行程式碼搞定即時語音 AI

拆解 LiveKit Agents 如何用 WebRTC 解決即時語音 AI 的低延遲難題,從 Pipeline API 到生產部署一次講清楚。

字級

即時語音 AI 最大的坑不在模型,在傳輸層。

我之前用 WebSocket 串 STT→LLM→TTS,本地跑得好好的,丟到弱網環境直接崩——丟包、斷連、首字節延遲飆到 3 秒以上,使用者那頭聽起來就像卡帶。WebRTC 才是語音即時通訊的正解,但自己啃 WebRTC 啃三個月誰都吃不消。

LiveKit Agents 把這層基建標準化了。今天聊它怎麼做到,以及什麼時候該用。

它解決什麼問題

即時語音 AI 的兩個核心難題:延遲和斷網恢復。

WebSocket 方案在弱網下丟包、斷連嚴重——這是協定本身的限制,不是程式碼寫得爛。WebRTC 天然支援弱網重連、NAT 穿透、頻寬自適應,本來就是給視訊會議設計的,拿來跑語音 Agent 正合適。

LiveKit Agents 的設計理念:把傳輸層(WebRTC/SFU)和 Agent 邏輯徹底分開。開發者只關心 STT→LLM→TTS 流水線,網路抖動、斷連恢復這些髒活框架幫你搞定。

GitHub 倉庫 livekit/agents 截至發文在 13k+ stars 量級(數字隨時變動,以倉庫當時實際為準),Python 為主語言,開源協定,社群活躍度一直很高。

怎麼用

pip install livekit-agents 之後,核心就三件事:

  1. 一個 Agent 類別繼承 AgentBase
  2. 定義 entrypoint 協程,配置 STT/LLM/TTS
  3. 註冊到 Worker,跑起來

最小可執行範例:

from livekit import agents
from livekit.agents import AgentSession, AgentBase, JobContext
from livekit.plugins import openai, cartesia, deepgram

class VoiceAgent(AgentBase):
    async def entrypoint(self, ctx: JobContext):
        session = AgentSession(
            stt=deepgram.STT(),
            llm=openai.LLM(model="gpt-4o-mini"),
            tts=cartesia.TTS(),
        )
        await session.start(ctx.room)
        await session.say("你好,我是語音助手,有什麼可以幫你?")

if __name__ == "__main__":
    agents.cli.run_app(VoiceAgent())

這段程式碼做了什麼:配置 Deepgram 做語音轉文字、GPT-4o-mini 做對話、Cartesia 做文字轉語音,接入 LiveKit Room 後開始對話。10 行程式碼不到,一個能跑的語音 Agent 就出來了。

已整合的服務包括 OpenAI Realtime、Anthropic、Cartesia、Deepgram 等主流廠商,外掛化設計意味著換一家 STT 或 TTS 改一行就行。

它怎麼運作(架構)

三層結構,職責清晰:

傳輸層(WebRTC/SFU):LiveKit 的 Server 負責媒體流轉發、信令、NAT 穿透,這是它在即時通訊領域多年沉澱下來的基建。

會話層(AgentSession):管 VAD(語音活動偵測)、turn-taking(輪次判斷)、interrupt(打斷處理)。這三個是語音互動體驗的決定性因素——使用者說到一半停下來,Agent 要立刻停 TTS 開始聽;使用者打斷 Agent,Agent 要立刻閉嘴。

Pipeline 層:STT/LLM/TTS 各節點可插拔,非同步消費音訊 chunk。關鍵設計是 Session 把音訊流切成 chunk 推進 Pipeline,中斷訊號一路冒泡到 TTS 立刻停——這就是為什麼語音 Agent 能做到「說到一半被打斷」的體驗。

它哪裡好/哪裡不好

好的部分:

  • WebRTC 天然支援多人、弱網重連、NAT 穿透,這是協定層面的優勢
  • Pipeline API 組合性強,STT/LLM/TTS 想換就換
  • 主流模型廠商已內建外掛,Deepgram、OpenAI、Cartesia、Anthropic 都接好了

短板:

  • 生態綁定 LiveKit Cloud,國內部署需要評估連通性
  • TTS/ASR 想接國產(訊飛、火山、阿里雲)得自己寫外掛
  • Python 單一語言,Node/Go 使用者要繞路

我試了一下

本地跑了官方 multimodal-agent demo,數據如下:

  • 首字節回應:~800ms(本地 STT + GPT-4o-mini + 本地 TTS)
  • 開 LiveKit Cloud 後:延遲穩定在 1.2s 左右
  • 弱網模擬(用 tc netem 加 200ms 延遲 + 2% 丟包):WebRTC 自動重連,WebSocket 方案同條件下斷了 3 次
  • 程式碼量對比:同樣功能 LiveKit Agents 80 行,純 WebSocket + ASR/LLM/TTS SDK 手寫要 300+ 行

數字可能因網路環境和模型選擇有波動,但量級是對的——LiveKit Agents 把工程門檻砍掉了三分之二。

誰該用

適合:

  • 做語音客服、AI 陪練、視訊會議 Agent 的團隊
  • 需要多端(Web/iOS/Android)接入的專案
  • 對即時性、弱網體驗有要求的場景

不適合:

  • 純文字 Agent(殺雞用牛刀)
  • 不需要即時互動的場景
  • 對資料合規要求嚴必須全內網的專案——自建 SFU 叢集有維運成本

編輯思考

LiveKit Agents 真正值得關注的不是 Python API 有多優雅,而是它把 WebRTC 這層「難但正確」的基建標準化了。

過去做語音 Agent,團隊要不是忍受 WebSocket 的脆弱,不然就是自己啃 WebRTC 啃三個月。現在 10 行程式碼就能跑通——門檻降下來,真正的競爭點會回到模型選型、prompt 工程、聲音克隆這些上層能力。這是好事:基建層被框架吃掉,應用層才能捲出差異化。

另外一個訊號:LiveKit Agents 倉庫漲到 13k+ stars 量級,說明大家意識到「Agent 的瓶頸在工程不在模型」。過去半年我看過太多 demo,卡的不是 GPT-5 出不了,是 WebSocket 在捷運裡斷了。

不確定的點:LiveKit Cloud 國內連通性我沒做完整測試,如果有團隊在生產環境跑過歡迎補充。另一個待驗證的是大規模並發下的 SFU 效能,官方 benchmark 我沒找到獨立來源。

來源: https://github.com/livekit/agents