GitHub で ten-framework が 11,120 stars に達した。リアルタイム多モーダル対話 AI 向けのオープンソースフレームワークで、VAD・ターン検出・Memory などのモジュールを内蔵し、Docker でのセルフホストも容易だ。実際に動かしてみたところ、voice_assistant example が 5 分で立ち上がり、体感遅延は 600〜800ms。本記事ではその評価と検証結果をまとめる。
解決する課題
リアルタイム多モーダル対話 AI の難しさは、次の 4 つに集約される。
- 遅延:エンドツーエンドで 500ms 未満でないと「人間の会話」に見えない
- ストリーミング処理:音声は連続的なので、発話が終わるまで待てない
- 割り込み・沈黙:AI がいつ話すか、いつ黙るかを判断できない
- 多モーダル連結:音声入力 → テキスト処理 → 音声出力というデータフローをつなぐ必要がある
通常の LLM ラップでボイス Agent を作ると、最初の 3 つで必ず詰まる。VAD 閾値の調整を間違えれば割り込みか沈黙のどちらかになるし、ストリーミング処理を誤れば遅延は 1 秒を超える。ターン判定を silence timeout に頼るのも粗すぎる。
TEN は VAD・Turn Detection・多モーダル pipeline を 1 つのフレームワークに統合したもので、「また別の Agent SDK」ではない。LangChain のような汎用オーケストレーションではなく、「リアルタイム多モーダル対話 Agent の完全なツールチェーン」という位置づけだ。
使い方
クローン → 依存関係インストール → example 実行の 3 ステップで済む。
git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt
ASR / LLM / TTS の API key(OpenAI や ElevenLabs など)を設定して、以下を実行する。
python app.py
サービス起動後、ブラウザで localhost:8080 にアクセスし、WebSocket 経由で録音するだけで対話できる。実際に試したところ、5 分で動作確認でき、途中で詰まるポイントはなかった。
核心となるコードはこれだけだ。
from ten import Agent
# 音声 Agent を初期化し、ASR → LLM → TTS を連結
agent = Agent(
name="voice_assistant",
vad="ten_vad", # 音声活動検出
turn_detection="ten_td", # ターン検出(割り込み防止)
asr="whisper", # 音声→テキスト
llm="gpt-4", # 対話生成
tts="elevenlabs", # テキスト→音声
memory="buffer:10" # 10 ターンのコンテキストを保持
)
# WebSocket サーバーを起動、ブラウザから録音して直接対話
agent.serve(transport="websocket", port=8080)
Graph ベースのオーケストレーションで、ノードがモジュール、エッジがデータフローを表す宣言的な設定のため、自分でスケジューリングロジックを書く必要はない。
アーキテクチャ
Graph ベースの Agent オーケストレーションを採用している。
- ノード:ASR、VAD、Turn Detection、LLM、TTS、Memory
- エッジ:データフロー。音声フレームとテキスト token がノード間を流れる
データフローは次のとおり。
- 音声入力 → VAD が発話を検出
- Turn Detection が応答すべきかを判断
- ASR がテキストに変換
- LLM が応答を生成
- TTS が音声を合成
- クライアントに送出
重要な設計はターン検出だ。ten-turn-detection というモジュールは、単に VAD 閾値で「無音が何秒続いたら発話終了」と判断するものではない。意味的なポーズ、トーン、コンテキストを総合的に考慮し、AI がいつ発言するかを決定する。意図的に 2 秒ポーズして試したが AI は割り込まなかったし、連続して早口で話しても取りこぼさなかった。
接続方式は RTC(WebRTC)と WebSocket の 2 種類をサポート。WebSocket はローカル開発や簡易的な用途に適し、RTC は本番環境でエンドツーエンドの低遅延伝送を行う場合に適している。
長所と短所
長所
- 11k+ stars でコミュニティが活発
- README は 7 言語(英・中・日・韓・西・仏・伊)に対応
- Docker でのセルフホストが容易。
docker compose upで一発デプロイ(初回はイメージ pull に 10 分かかる) - エコシステムが充実。5 つのリポジトリ(TEN Framework、Agent Examples、VAD、Turn Detection、Portal)がすべて公式管理
- example が豊富。voice_assistant、doodler、speaker-diarization など、音声アシスタント・お絵描きアシスタント・複数話者分離をカバー
短所
- Python のみの言語バインディング。バックエンドを Go/Rust で書きたい場合は自前でラップが必要
- LiveKit と比較するとエコシステムが小さい(後者は WebRTC 分野で長年の蓄積あり)
- ドキュメントは英語中心。簡体字中文もあるが、詳細な内容は英語が多い
- 中国系 ASR/TTS ベンダー(iFlytek、Alibaba、Volcano)への対応は自前で adapter を書く必要がある
LiveKit Agents との比較
- LiveKit Agents はリアルタイム通信のレイヤ(WebRTC が強み)に重点
- TEN は「多モーダル対話 Agent」のシナリオ統合にフォーカス
- すでに LiveKit のインフラがある場合は移行コストが高い。ゼロから始めるなら TEN の方が楽
Picovoice との比較
- Picovoice は音声コンポーネント(VAD、ウェイクワード、ASR)に偏っている
- TEN は完全な pipeline を一式備えており、すぐ動かせる
実測結果
voice_assistant example を動かし、ローカルでサーバー起動 + ブラウザ録音で検証した。
体感遅延:発話終了から AI 応答まで約 600〜800ms。純粋なクラウド API(1 秒超)より速いが、エンドツーエンドの音声モデル(Realtime API の 200〜300ms)より遅い。実用に耐えるが、最速ではない。
ターン検出:意図的に 2 秒ポーズしても AI は割り込まなかった。連続早口でも取りこぼしなし。これは VAD 閾値だけでは不可能で、Turn Detection モジュールが確かに機能している。
Docker デプロイ:docker compose up で一発起動だが、初回はイメージ pull(モデル重みを含む)に 10 分かかる。本番環境では事前に pull しておくのがよい。
コード量:example ディレクトリは約 200 行、核心ロジックは 50 行。ドキュメントを読まずに動かせるレベルだ。
導入の判断基準
向いているケース
- リアルタイム音声 Agent をセルフホストしたいチーム
- 遅延に厳しい要件がある(1 秒未満)
- VAD / ターン検出を一から実装したくないチーム
向かないケース
- 音声→テキスト変換だけが目的(Picovoice の方が軽量)
- すでに LiveKit Agents を使っていて移行したくない
- 中国系 ASR への強い依存があり、ベンダー連携を自前でやりたくない
適するシナリオ
- スマートカスタマーサポート
- 音声アシスタント
- 教育向け練習ツール
- リアルタイム翻訳
編集部の見解
TEN の位置づけは「リアルタイム多モーダル対話 Agent の完全なツールチェーン」であり、また別の LLM オーケストレーションフレームワークではない。解決するのは、音声シナリオ特有の遅延・ストリーミング・ターン問題であり、この領域は LangChain / LlamaIndex では対応できない。それらの設計前提は「テキスト入力 → テキスト出力」であり、音声ストリームや時間感度といった観点が考慮されていないからだ。
LiveKit との違いは明確で、TEN は「Agent-first」、LiveKit は「RTC-first」である。前者は対話ロジックを最優先し、後者は音声・映像の伝送を最優先する。AI に人間のように会話させることが主目的なら TEN の方が的確だし、大人数のビデオ会議に AI を載せるのが目的であれば LiveKit の方がローレイヤーだ。
過去のオープンソース音声フレームワークと異なる点は、VAD や Turn Detection といった「音声 Agent 特有の泥臭い処理」を開梱済みのモジュールとして提供し、ユーザーに閾値調整を丸投げにしていないこと。従来は Silero VAD のドキュメントを読み、silence timeout を調整し、partial result を自前で処理する必要があったが、今はそれらがパッケージ化されている。
予測として、2026 年には「特定シナリオ特化型 Agent フレームワーク」がさらに増えると見ている。カスタマーサポート専用、教育専用、医療問診専用といったものだ。TEN はその先駆けであり、「汎用オーケストレーションフレームワーク」より「特定シナリオの完成された pipeline」の方がユーザー価値が高いことを証明している。
不確実な点としては、TEN の日本語コミュニティはまだ黎明期にあり、日本語の ASR / TTS ベンダー対応には自前で adapter を書く必要がある。ハードルの高さであると同時にチャンスでもある。公式 adapter が出れば、日本語市場での立ち上がりは速くなるだろう。もう一つの不確実要素は Python のみの言語バインディングで、将来的に Rust / Go 版が登場すれば本番投入のしやすさは大きく向上する。