框架

TEN Framework 实战:从 0 搭一个低延迟语音 Agent

11k stars 的开源实时多模态对话框架,自带 VAD、轮次检测、Docker 自托管。比 LiveKit 多一层 Agent 整合,比 Picovoice 多一套完整 pipeline。

字号

GitHub 上 ten-framework 已经 11,120 stars 了。是个做实时多模态对话 AI 的开源框架,自带 VAD、轮次检测、Memory 等模块,Docker 自托管友好。我把它跑了一遍,5 分钟跑通 voice_assistant example,体感延迟 600-800ms。本文记录下我的判断和实测。

它解决什么问题

实时多模态对话 AI 的难点,集中在四个地方:

  • 延迟:端到端要 < 500ms 才像真人在说话
  • 流式处理:音频是连续的,不能等整句说完再处理
  • 抢话/冷场:AI 不知道什么时候该开口、什么时候该闭嘴
  • 多模态串联:音频进、文字处理、音频出,数据流要串起来

普通 LLM 套壳做语音 Agent,基本会卡在前三个。VAD 阈值调不好,要么抢话要么冷场;流式处理没做对,延迟就上 1 秒;轮次判断靠 silence timeout 太粗糙。

TEN 把 VAD、Turn Detection、多模态 pipeline 整合成一个框架,不是又一个 Agent SDK。它的定位是"实时多模态对话 Agent 的完整工具链",而不是 LangChain 那种通用编排。

怎么用

拉代码 → 装依赖 → 跑 example,三步:

git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt

配 ASR / LLM / TTS 的 API key(OpenAI、ElevenLabs 之类),然后:

python app.py

服务起来后,浏览器访问 localhost:8080,WebSocket 连接,直接录音对话。我测了下 5 分钟跑通,中间没踩坑。

核心代码就这么多:

from ten import Agent

# 初始化语音 Agent,串联 ASR → LLM → TTS
agent = Agent(
    name="voice_assistant",
    vad="ten_vad",              # 语音活动检测
    turn_detection="ten_td",    # 轮次检测,避免抢话
    asr="whisper",              # 语音转文字
    llm="gpt-4",                # 对话生成
    tts="elevenlabs",           # 文字转语音
    memory="buffer:10"          # 保留 10 轮上下文
)

# 启动 WebSocket 服务,浏览器录音直接对话
agent.serve(transport="websocket", port=8080)

Graph 化编排,节点是模块,边是数据流,声明式配置,不需要自己写调度逻辑。

它怎么工作

架构是 Graph 化的 Agent 编排:

  • 节点:ASR、VAD、Turn Detection、LLM、TTS、Memory
  • 边:数据流,音频帧和文字 token 在节点之间流转

数据流是这样的:

  1. 音频进 → VAD 检测说话
  2. Turn Detection 判断是否该回应
  3. ASR 转文字
  4. LLM 生成回复
  5. TTS 合成语音
  6. 推回客户端

关键设计是轮次检测。这模块叫 ten-turn-detection,不是简单靠 VAD 阈值判断"静音多久算说完"。它会综合语义停顿、语气、上下文,决定 AI 什么时候开口。我故意停顿 2 秒测试,AI 没抢话;快速连续说,AI 也没漏。

支持 RTC(WebRTC)和 WebSocket 两种连接方式。WebSocket 适合本地调试和简单场景,RTC 适合生产环境做端到端低延迟传输。

它哪里好 / 哪里不好

好的地方:

  • 11k+ stars,社区活跃度够
  • README 支持 7 种语言:英、简中、日、韩、西、法、意
  • Docker 自托管友好,docker compose up 一键部署(虽然首次拉镜像要 10 分钟)
  • 生态完整:5 个仓库,TEN Framework、Agent Examples、VAD、Turn Detection、Portal 全是自家维护
  • example 丰富:voice_assistant、doodler、speaker-diarization 等,覆盖语音助手、绘画助手、多人对话分离

不好的地方:

  • Python 单一语言绑定,后端想用 Go/Rust 得自己包
  • 生态比 LiveKit 小(后者在 WebRTC 领域深耕多年)
  • 文档英文为主,虽然有简体中文,但深度文档还是英文
  • 对中文 ASR/TTS 厂商(讯飞、阿里、火山)支持要自己写 adapter

对比 LiveKit Agents:

  • LiveKit Agents 偏实时通信底层(WebRTC 是它的强项)
  • TEN 聚焦"多模态对话 Agent"完整场景整合
  • 如果你已经有 LiveKit 基础设施,迁移成本高;如果从零开始,TEN 更省事

对比 Picovoice:

  • Picovoice 偏语音组件(VAD、唤醒词、ASR)
  • TEN 多一套完整 pipeline,开箱即用

我试了下

跑了 voice_assistant example,本地起服务 + 浏览器录音。

延迟体感: 说话结束到 AI 回复约 600-800ms。比纯云端 API(1s+)快,比端到端语音模型(Realtime API 的 200-300ms)慢。够用,但不是最快。

轮次检测: 故意停顿 2 秒,AI 没抢话。快速连续说,AI 也没漏。这是 VAD 阈值做不到的,Turn Detection 模块确实有用。

Docker 部署: docker compose up 一键起,但首次拉镜像要 10 分钟(包括模型权重)。生产环境建议预拉镜像。

代码量: example 目录 200 行左右,核心逻辑 50 行。新手能看懂,不用读文档就能跑通。

谁该用 / 谁别用

该用:

  • 想自托管实时语音 Agent 的团队
  • 对延迟敏感(< 1s)
  • 不想从零写 VAD / 轮次检测的团队

不该用:

  • 只想要语音转文字(Picovoice 更轻)
  • 已经用 LiveKit Agents 不愿迁移
  • 对中文 ASR 有强依赖但不想自己接厂商的

适合场景:

  • 智能客服
  • 语音助手
  • 教育陪练
  • 实时翻译

编辑思考

TEN 的定位是"实时多模态对话 Agent 的完整工具链",而不是又一个 LLM 编排框架。它解决的是语音场景特有的延迟、流式、轮次问题——这部分 LangChain / LlamaIndex 帮不上忙,因为它们的设计假设是"文本进、文本出",根本没考虑音频流和时间敏感性。

和 LiveKit 的区别在于:TEN 是 "Agent-first",LiveKit 是 "RTC-first"。前者把对话逻辑放第一位,后者把音视频传输放第一位。如果你的核心需求是"让 AI 能像人一样接话",TEN 更对症;如果你的核心需求是"几十人同时视频会议加 AI",LiveKit 更底层。

这次和过去开源语音框架不同的地方:TEN 把 VAD、Turn Detection 这种"语音 Agent 特有的脏活"做成了开箱即用的模块,而不是丢给用户自己调阈值。过去做语音 Agent,你得自己读 Silero VAD 文档、自己调 silence timeout、自己处理 partial result;现在这些都打包好了。

预测:2026 年会出现更多"垂直场景 Agent 框架",比如专门做客服的、做教育的、做医疗问诊的。TEN 是这条赛道的前哨——它证明了"垂直场景的完整 pipeline"比"通用编排框架"更有用户价值。

不确定:TEN 的中文社区还在早期,中文 ASR / TTS 厂商对接需要自己写 adapter,这是门槛也是机会。如果有人做出官方适配器,中文市场会起来得快很多。另一个不确定是它的 Python 单一语言绑定——如果未来 Rust / Go 版本出来,生产可用性会大幅提升。

参考资料:ten-framework GitHub

来源: https://github.com/TEN-framework/ten-framework