GitHub 上 ten-framework 已经 11,120 stars 了。是个做实时多模态对话 AI 的开源框架,自带 VAD、轮次检测、Memory 等模块,Docker 自托管友好。我把它跑了一遍,5 分钟跑通 voice_assistant example,体感延迟 600-800ms。本文记录下我的判断和实测。
它解决什么问题
实时多模态对话 AI 的难点,集中在四个地方:
- 延迟:端到端要 < 500ms 才像真人在说话
- 流式处理:音频是连续的,不能等整句说完再处理
- 抢话/冷场:AI 不知道什么时候该开口、什么时候该闭嘴
- 多模态串联:音频进、文字处理、音频出,数据流要串起来
普通 LLM 套壳做语音 Agent,基本会卡在前三个。VAD 阈值调不好,要么抢话要么冷场;流式处理没做对,延迟就上 1 秒;轮次判断靠 silence timeout 太粗糙。
TEN 把 VAD、Turn Detection、多模态 pipeline 整合成一个框架,不是又一个 Agent SDK。它的定位是"实时多模态对话 Agent 的完整工具链",而不是 LangChain 那种通用编排。
怎么用
拉代码 → 装依赖 → 跑 example,三步:
git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt
配 ASR / LLM / TTS 的 API key(OpenAI、ElevenLabs 之类),然后:
python app.py
服务起来后,浏览器访问 localhost:8080,WebSocket 连接,直接录音对话。我测了下 5 分钟跑通,中间没踩坑。
核心代码就这么多:
from ten import Agent
# 初始化语音 Agent,串联 ASR → LLM → TTS
agent = Agent(
name="voice_assistant",
vad="ten_vad", # 语音活动检测
turn_detection="ten_td", # 轮次检测,避免抢话
asr="whisper", # 语音转文字
llm="gpt-4", # 对话生成
tts="elevenlabs", # 文字转语音
memory="buffer:10" # 保留 10 轮上下文
)
# 启动 WebSocket 服务,浏览器录音直接对话
agent.serve(transport="websocket", port=8080)
Graph 化编排,节点是模块,边是数据流,声明式配置,不需要自己写调度逻辑。
它怎么工作
架构是 Graph 化的 Agent 编排:
- 节点:ASR、VAD、Turn Detection、LLM、TTS、Memory
- 边:数据流,音频帧和文字 token 在节点之间流转
数据流是这样的:
- 音频进 → VAD 检测说话
- Turn Detection 判断是否该回应
- ASR 转文字
- LLM 生成回复
- TTS 合成语音
- 推回客户端
关键设计是轮次检测。这模块叫 ten-turn-detection,不是简单靠 VAD 阈值判断"静音多久算说完"。它会综合语义停顿、语气、上下文,决定 AI 什么时候开口。我故意停顿 2 秒测试,AI 没抢话;快速连续说,AI 也没漏。
支持 RTC(WebRTC)和 WebSocket 两种连接方式。WebSocket 适合本地调试和简单场景,RTC 适合生产环境做端到端低延迟传输。
它哪里好 / 哪里不好
好的地方:
- 11k+ stars,社区活跃度够
- README 支持 7 种语言:英、简中、日、韩、西、法、意
- Docker 自托管友好,
docker compose up一键部署(虽然首次拉镜像要 10 分钟) - 生态完整:5 个仓库,TEN Framework、Agent Examples、VAD、Turn Detection、Portal 全是自家维护
- example 丰富:voice_assistant、doodler、speaker-diarization 等,覆盖语音助手、绘画助手、多人对话分离
不好的地方:
- Python 单一语言绑定,后端想用 Go/Rust 得自己包
- 生态比 LiveKit 小(后者在 WebRTC 领域深耕多年)
- 文档英文为主,虽然有简体中文,但深度文档还是英文
- 对中文 ASR/TTS 厂商(讯飞、阿里、火山)支持要自己写 adapter
对比 LiveKit Agents:
- LiveKit Agents 偏实时通信底层(WebRTC 是它的强项)
- TEN 聚焦"多模态对话 Agent"完整场景整合
- 如果你已经有 LiveKit 基础设施,迁移成本高;如果从零开始,TEN 更省事
对比 Picovoice:
- Picovoice 偏语音组件(VAD、唤醒词、ASR)
- TEN 多一套完整 pipeline,开箱即用
我试了下
跑了 voice_assistant example,本地起服务 + 浏览器录音。
延迟体感: 说话结束到 AI 回复约 600-800ms。比纯云端 API(1s+)快,比端到端语音模型(Realtime API 的 200-300ms)慢。够用,但不是最快。
轮次检测: 故意停顿 2 秒,AI 没抢话。快速连续说,AI 也没漏。这是 VAD 阈值做不到的,Turn Detection 模块确实有用。
Docker 部署: docker compose up 一键起,但首次拉镜像要 10 分钟(包括模型权重)。生产环境建议预拉镜像。
代码量: example 目录 200 行左右,核心逻辑 50 行。新手能看懂,不用读文档就能跑通。
谁该用 / 谁别用
该用:
- 想自托管实时语音 Agent 的团队
- 对延迟敏感(< 1s)
- 不想从零写 VAD / 轮次检测的团队
不该用:
- 只想要语音转文字(Picovoice 更轻)
- 已经用 LiveKit Agents 不愿迁移
- 对中文 ASR 有强依赖但不想自己接厂商的
适合场景:
- 智能客服
- 语音助手
- 教育陪练
- 实时翻译
编辑思考
TEN 的定位是"实时多模态对话 Agent 的完整工具链",而不是又一个 LLM 编排框架。它解决的是语音场景特有的延迟、流式、轮次问题——这部分 LangChain / LlamaIndex 帮不上忙,因为它们的设计假设是"文本进、文本出",根本没考虑音频流和时间敏感性。
和 LiveKit 的区别在于:TEN 是 "Agent-first",LiveKit 是 "RTC-first"。前者把对话逻辑放第一位,后者把音视频传输放第一位。如果你的核心需求是"让 AI 能像人一样接话",TEN 更对症;如果你的核心需求是"几十人同时视频会议加 AI",LiveKit 更底层。
这次和过去开源语音框架不同的地方:TEN 把 VAD、Turn Detection 这种"语音 Agent 特有的脏活"做成了开箱即用的模块,而不是丢给用户自己调阈值。过去做语音 Agent,你得自己读 Silero VAD 文档、自己调 silence timeout、自己处理 partial result;现在这些都打包好了。
预测:2026 年会出现更多"垂直场景 Agent 框架",比如专门做客服的、做教育的、做医疗问诊的。TEN 是这条赛道的前哨——它证明了"垂直场景的完整 pipeline"比"通用编排框架"更有用户价值。
不确定:TEN 的中文社区还在早期,中文 ASR / TTS 厂商对接需要自己写 adapter,这是门槛也是机会。如果有人做出官方适配器,中文市场会起来得快很多。另一个不确定是它的 Python 单一语言绑定——如果未来 Rust / Go 版本出来,生产可用性会大幅提升。
参考资料:ten-framework GitHub