フレームワーク

TEN Framework 入門:ゼロから作る低遅延ボイス Agent

11k stars 突破のリアルタイム多モーダル対話フレームワークを検証。VAD・ターン検出を標準搭載し、Docker でセルフホスト可能。LiveKit より Agent 統合寄り、Picovoice より完成度の高いパイプライン。

文字サイズ

GitHub で ten-framework が 11,120 stars に達した。リアルタイム多モーダル対話 AI 向けのオープンソースフレームワークで、VAD・ターン検出・Memory などのモジュールを内蔵し、Docker でのセルフホストも容易だ。実際に動かしてみたところ、voice_assistant example が 5 分で立ち上がり、体感遅延は 600〜800ms。本記事ではその評価と検証結果をまとめる。

解決する課題

リアルタイム多モーダル対話 AI の難しさは、次の 4 つに集約される。

  • 遅延:エンドツーエンドで 500ms 未満でないと「人間の会話」に見えない
  • ストリーミング処理:音声は連続的なので、発話が終わるまで待てない
  • 割り込み・沈黙:AI がいつ話すか、いつ黙るかを判断できない
  • 多モーダル連結:音声入力 → テキスト処理 → 音声出力というデータフローをつなぐ必要がある

通常の LLM ラップでボイス Agent を作ると、最初の 3 つで必ず詰まる。VAD 閾値の調整を間違えれば割り込みか沈黙のどちらかになるし、ストリーミング処理を誤れば遅延は 1 秒を超える。ターン判定を silence timeout に頼るのも粗すぎる。

TEN は VAD・Turn Detection・多モーダル pipeline を 1 つのフレームワークに統合したもので、「また別の Agent SDK」ではない。LangChain のような汎用オーケストレーションではなく、「リアルタイム多モーダル対話 Agent の完全なツールチェーン」という位置づけだ。

使い方

クローン → 依存関係インストール → example 実行の 3 ステップで済む。

git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework/agents/examples/voice_assistant
pip install -r requirements.txt

ASR / LLM / TTS の API key(OpenAI や ElevenLabs など)を設定して、以下を実行する。

python app.py

サービス起動後、ブラウザで localhost:8080 にアクセスし、WebSocket 経由で録音するだけで対話できる。実際に試したところ、5 分で動作確認でき、途中で詰まるポイントはなかった。

核心となるコードはこれだけだ。

from ten import Agent

# 音声 Agent を初期化し、ASR → LLM → TTS を連結
agent = Agent(
    name="voice_assistant",
    vad="ten_vad",              # 音声活動検出
    turn_detection="ten_td",    # ターン検出(割り込み防止)
    asr="whisper",              # 音声→テキスト
    llm="gpt-4",                # 対話生成
    tts="elevenlabs",           # テキスト→音声
    memory="buffer:10"          # 10 ターンのコンテキストを保持
)

# WebSocket サーバーを起動、ブラウザから録音して直接対話
agent.serve(transport="websocket", port=8080)

Graph ベースのオーケストレーションで、ノードがモジュール、エッジがデータフローを表す宣言的な設定のため、自分でスケジューリングロジックを書く必要はない。

アーキテクチャ

Graph ベースの Agent オーケストレーションを採用している。

  • ノード:ASR、VAD、Turn Detection、LLM、TTS、Memory
  • エッジ:データフロー。音声フレームとテキスト token がノード間を流れる

データフローは次のとおり。

  1. 音声入力 → VAD が発話を検出
  2. Turn Detection が応答すべきかを判断
  3. ASR がテキストに変換
  4. LLM が応答を生成
  5. TTS が音声を合成
  6. クライアントに送出

重要な設計はターン検出だ。ten-turn-detection というモジュールは、単に VAD 閾値で「無音が何秒続いたら発話終了」と判断するものではない。意味的なポーズ、トーン、コンテキストを総合的に考慮し、AI がいつ発言するかを決定する。意図的に 2 秒ポーズして試したが AI は割り込まなかったし、連続して早口で話しても取りこぼさなかった。

接続方式は RTC(WebRTC)と WebSocket の 2 種類をサポート。WebSocket はローカル開発や簡易的な用途に適し、RTC は本番環境でエンドツーエンドの低遅延伝送を行う場合に適している。

長所と短所

長所

  • 11k+ stars でコミュニティが活発
  • README は 7 言語(英・中・日・韓・西・仏・伊)に対応
  • Docker でのセルフホストが容易。docker compose up で一発デプロイ(初回はイメージ pull に 10 分かかる)
  • エコシステムが充実。5 つのリポジトリ(TEN Framework、Agent Examples、VAD、Turn Detection、Portal)がすべて公式管理
  • example が豊富。voice_assistant、doodler、speaker-diarization など、音声アシスタント・お絵描きアシスタント・複数話者分離をカバー

短所

  • Python のみの言語バインディング。バックエンドを Go/Rust で書きたい場合は自前でラップが必要
  • LiveKit と比較するとエコシステムが小さい(後者は WebRTC 分野で長年の蓄積あり)
  • ドキュメントは英語中心。簡体字中文もあるが、詳細な内容は英語が多い
  • 中国系 ASR/TTS ベンダー(iFlytek、Alibaba、Volcano)への対応は自前で adapter を書く必要がある

LiveKit Agents との比較

  • LiveKit Agents はリアルタイム通信のレイヤ(WebRTC が強み)に重点
  • TEN は「多モーダル対話 Agent」のシナリオ統合にフォーカス
  • すでに LiveKit のインフラがある場合は移行コストが高い。ゼロから始めるなら TEN の方が楽

Picovoice との比較

  • Picovoice は音声コンポーネント(VAD、ウェイクワード、ASR)に偏っている
  • TEN は完全な pipeline を一式備えており、すぐ動かせる

実測結果

voice_assistant example を動かし、ローカルでサーバー起動 + ブラウザ録音で検証した。

体感遅延:発話終了から AI 応答まで約 600〜800ms。純粋なクラウド API(1 秒超)より速いが、エンドツーエンドの音声モデル(Realtime API の 200〜300ms)より遅い。実用に耐えるが、最速ではない。

ターン検出:意図的に 2 秒ポーズしても AI は割り込まなかった。連続早口でも取りこぼしなし。これは VAD 閾値だけでは不可能で、Turn Detection モジュールが確かに機能している。

Docker デプロイ:docker compose up で一発起動だが、初回はイメージ pull(モデル重みを含む)に 10 分かかる。本番環境では事前に pull しておくのがよい。

コード量:example ディレクトリは約 200 行、核心ロジックは 50 行。ドキュメントを読まずに動かせるレベルだ。

導入の判断基準

向いているケース

  • リアルタイム音声 Agent をセルフホストしたいチーム
  • 遅延に厳しい要件がある(1 秒未満)
  • VAD / ターン検出を一から実装したくないチーム

向かないケース

  • 音声→テキスト変換だけが目的(Picovoice の方が軽量)
  • すでに LiveKit Agents を使っていて移行したくない
  • 中国系 ASR への強い依存があり、ベンダー連携を自前でやりたくない

適するシナリオ

  • スマートカスタマーサポート
  • 音声アシスタント
  • 教育向け練習ツール
  • リアルタイム翻訳

編集部の見解

TEN の位置づけは「リアルタイム多モーダル対話 Agent の完全なツールチェーン」であり、また別の LLM オーケストレーションフレームワークではない。解決するのは、音声シナリオ特有の遅延・ストリーミング・ターン問題であり、この領域は LangChain / LlamaIndex では対応できない。それらの設計前提は「テキスト入力 → テキスト出力」であり、音声ストリームや時間感度といった観点が考慮されていないからだ。

LiveKit との違いは明確で、TEN は「Agent-first」、LiveKit は「RTC-first」である。前者は対話ロジックを最優先し、後者は音声・映像の伝送を最優先する。AI に人間のように会話させることが主目的なら TEN の方が的確だし、大人数のビデオ会議に AI を載せるのが目的であれば LiveKit の方がローレイヤーだ。

過去のオープンソース音声フレームワークと異なる点は、VAD や Turn Detection といった「音声 Agent 特有の泥臭い処理」を開梱済みのモジュールとして提供し、ユーザーに閾値調整を丸投げにしていないこと。従来は Silero VAD のドキュメントを読み、silence timeout を調整し、partial result を自前で処理する必要があったが、今はそれらがパッケージ化されている。

予測として、2026 年には「特定シナリオ特化型 Agent フレームワーク」がさらに増えると見ている。カスタマーサポート専用、教育専用、医療問診専用といったものだ。TEN はその先駆けであり、「汎用オーケストレーションフレームワーク」より「特定シナリオの完成された pipeline」の方がユーザー価値が高いことを証明している。

不確実な点としては、TEN の日本語コミュニティはまだ黎明期にあり、日本語の ASR / TTS ベンダー対応には自前で adapter を書く必要がある。ハードルの高さであると同時にチャンスでもある。公式 adapter が出れば、日本語市場での立ち上がりは速くなるだろう。もう一つの不確実要素は Python のみの言語バインディングで、将来的に Rust / Go 版が登場すれば本番投入のしやすさは大きく向上する。

参考: ten-framework GitHub

出典: https://github.com/TEN-framework/ten-framework