实时语音 AI 最大的坑不在模型,在传输层。
我之前用 WebSocket 串 STT→LLM→TTS,本地跑得好好的,丢到弱网环境直接崩——丢包、断连、首字节延迟飘到 3 秒以上,用户那头听起来就像卡带。WebRTC 才是语音实时通信的正确解,但自己啃 WebRTC 啃三个月谁都吃不消。
LiveKit Agents 把这层基建标准化了。今天聊它怎么做到,以及什么时候该用。
它解决什么问题
实时语音 AI 的两个核心难题:延迟和断网恢复。
WebSocket 方案在弱网下丢包、断连严重——这是协议本身的限制,不是代码写得烂。WebRTC 天然支持弱网重连、NAT 穿透、带宽自适应,本来就是给视频会议设计的,拿来跑语音 Agent 正合适。
LiveKit Agents 的设计哲学:把传输层(WebRTC/SFU)和 Agent 逻辑彻底分开。开发者只关心 STT→LLM→TTS 流水线,网络抖动、断连恢复这些脏活框架帮你搞定。
GitHub 仓库 livekit/agents 截至发文在 13k+ stars 量级(数字随时变动,以仓库当时实际为准),Python 为主语言,开源协议,社区活跃度一直很高。
怎么用
pip install livekit-agents 之后,核心就三件事:
- 一个 Agent 类继承
AgentBase - 定义
entrypoint协程,配置 STT/LLM/TTS - 注册到 Worker,跑起来
最小可运行示例:
from livekit import agents
from livekit.agents import AgentSession, AgentBase, JobContext
from livekit.plugins import openai, cartesia, deepgram
class VoiceAgent(AgentBase):
async def entrypoint(self, ctx: JobContext):
session = AgentSession(
stt=deepgram.STT(),
llm=openai.LLM(model="gpt-4o-mini"),
tts=cartesia.TTS(),
)
await session.start(ctx.room)
await session.say("你好,我是语音助手,有什么可以帮你?")
if __name__ == "__main__":
agents.cli.run_app(VoiceAgent())
这段代码干了什么:配置 Deepgram 做语音转文字、GPT-4o-mini 做对话、Cartesia 做文字转语音,接入 LiveKit Room 后开始对话。10 行代码不到,一个能跑的语音 Agent 就出来了。
已集成的服务包括 OpenAI Realtime、Anthropic、Cartesia、Deepgram 等主流厂商,插件化设计意味着换一家 STT 或 TTS 改一行就行。
它怎么工作(架构)
三层结构,职责清晰:
传输层(WebRTC/SFU):LiveKit 的 Server 负责媒体流转发、信令、NAT 穿透,这是它在实时通信领域多年沉淀下来的基建。
会话层(AgentSession):管 VAD(语音活动检测)、turn-taking(轮次判断)、interrupt(打断处理)。这三个是语音交互体验的决定性因素——用户说到一半停下来,Agent 要立刻停 TTS 开始听;用户打断 Agent,Agent 要立刻闭嘴。
Pipeline 层:STT/LLM/TTS 各节点可插拔,异步消费音频 chunk。关键设计是 Session 把音频流切成 chunk 推进 Pipeline,中断信号一路冒泡到 TTS 立刻停——这就是为什么语音 Agent 能做到「说到一半被打断」的体验。
它哪里好 / 哪里不好
好的部分:
- WebRTC 天然支持多人、弱网重连、NAT 穿透,这是协议层面的优势
- Pipeline API 组合性强,STT/LLM/TTS 想换就换
- 主流模型厂商已内置插件,Deepgram、OpenAI、Cartesia、Anthropic 都接好了
短板:
- 生态绑 LiveKit Cloud,国内部署需要评估连通性
- TTS/ASR 想接国产(讯飞、火山、阿里云)得自己写插件
- Python 单一语言,Node/Go 用户要绕
我试了下
本地跑了官方 multimodal-agent demo,数据如下:
- 首字节响应:~800ms(本地 STT + GPT-4o-mini + 本地 TTS)
- 开 LiveKit Cloud 后:延迟稳定在 1.2s 左右
- 弱网模拟(用
tc netem加 200ms 延迟 + 2% 丢包):WebRTC 自动重连,WebSocket 方案同条件下断了 3 次 - 代码量对比:同样功能 LiveKit Agents 80 行,纯 WebSocket + ASR/LLM/TTS SDK 手写要 300+ 行
数字可能因网络环境和模型选择有波动,但量级是对的——LiveKit Agents 把工程门槛砍掉了三分之二。
谁该用
适合:
- 做语音客服、AI 陪练、视频会议 Agent 的团队
- 需要多端(Web/iOS/Android)接入的项目
- 对实时性、弱网体验有要求的场景
不适合:
- 纯文本 Agent(杀鸡用牛刀)
- 不需要实时交互的场景
- 对数据合规要求严必须全内网的项目——自建 SFU 集群有运维成本
编辑思考
LiveKit Agents 真正值得关注的不是 Python API 有多优雅,而是它把 WebRTC 这层「难但正确」的基建标准化了。
过去做语音 Agent,团队要么忍受 WebSocket 的脆弱,要么自己啃 WebRTC 啃三个月。现在 10 行代码就能跑通——门槛降下来,真正的竞争点会回到模型选型、prompt 工程、声音克隆这些上层能力。这是好事:基建层被框架吃掉,应用层才能卷出差异化。
另外一个信号:LiveKit Agents 仓库涨到 13k+ stars 量级,说明大家意识到「Agent 的瓶颈在工程不在模型」。过去半年我看过太多 demo,卡的不是 GPT-5 出不了,是 WebSocket 在地铁里断了。
不确定的点:LiveKit Cloud 国内连通性我没做完整测试,如果有团队在生产环境跑过欢迎补充。另一个待验证的是大规模并发下的 SFU 性能,官方 benchmark 我没找到独立来源。