リアルタイム音声 AI の本当の落とし穴はモデルではなく、伝送レイヤにある。
以前 WebSocket で STT→LLM→TTS を直列につないでいたときは、ローカルでは問題なく動いても、弱いネットワーク環境に持っていきなり破綻した──パケットロス、接続断、ファーストバイト遅延が 3 秒超え、ユーザーはカセットテープが巻き込まれたような音声を聞くはめになる。WebRTC が音声リアルタイム通信の正解だが、生の WebRTC を自前で扱うのは 3 ヶ月かけても全員が途中で力尽きる。
LiveKit Agents はこのインフラ層を標準化してくれる。今回はその仕組みと、適している場面を紹介する。
何を解決するのか
リアルタイム音声 AI には 2 つの難題がある。遅延と、ネットワーク断からの復旧。
WebSocket 方式は弱い回線下ではパケットロスと接続断が深刻になる──これはコードの質ではなくプロトコル自体の制約。WebRTC は元来ネットワーク復旧・NAT 越え・带宽自适应を備えており、ビデオ会議用に設計されたものがそのまま音声 Agent に転用できる。
LiveKit Agents の設計思想は、伝送レイヤ (WebRTC/SFU) と Agent ロジックを完全に分離すること。開発者は STT→LLM→TTS パイプラインだけを気にしていればよく、ジッタ・接続復旧といった泥臭い処理はフレームワークが吸収する。
GitHub リポジトリ livekit/agents は記事執筆時点で 13k+ stars 規模 (数字は変動するため、最新はリポジトリを参照)。Python をメイン言語とし、オープンソースでコミュニティも活発だ。
使い方
pip install livekit-agents を実行したあと、やることは 3 つだけ。
AgentBaseを継承した Agent クラスを定義entrypointコルーチンで STT/LLM/TTS を構成- Worker に登録して起動
最小構成のサンプル:
from livekit import agents
from livekit.agents import AgentSession, AgentBase, JobContext
from livekit.plugins import openai, cartesia, deepgram
class VoiceAgent(AgentBase):
async def entrypoint(self, ctx: JobContext):
session = AgentSession(
stt=deepgram.STT(),
llm=openai.LLM(model="gpt-4o-mini"),
tts=cartesia.TTS(),
)
await session.start(ctx.room)
await session.say("你好,我是语音助手,有什么可以帮你?")
if __name__ == "__main__":
agents.cli.run_app(VoiceAgent())
このコードの内容:Deepgram で音声認識、GPT-4o-mini で会話、Cartesia で音声合成を行い、LiveKit Room に接続して対話を開始する。10 行に満たないコードで、動作する音声 Agent が完成する。
統合済みのサービスには OpenAI Realtime、Anthropic、Cartesia、Deepgram などの主要ベンダーが含まれ、プラグイン式のため STT や TTS を別のものに差し替えるのも 1 行変更するだけで済む。
アーキテクチャの仕組み
3 層構造で、役割分担がはっきりしている。
伝送レイヤ (WebRTC/SFU):LiveKit のサーバーがメディアストリームの転送、信号制御、NAT 越えを担当。これは同社がリアルタイム通信分野で長年にわたって培ってきたインフラだ。
セッションレイヤ (AgentSession):VAD (音声活動検出)、turn-taking (発話権の判定)、interrupt (割り込み処理) を管理する。この 3 つが音声インタラクションの体験を左右する──ユーザーが話し途中で止まれば、Agent は TTS を即座に停止して聞き始め、ユーザーが Agent を割り込めば、Agent はすぐに黙る。
Pipeline レイヤ:STT/LLM/TTS は各ノードを差し替え可能で、音频 chunk を非同期で消費する。Session が音声ストリームを chunk に切り出して進める設計で、割り込みシグナルは即座に TTS まで伝わり停止する──これが「話し途中に割り込まれる」を実現できる理由。
長所と短所
良い点:
- WebRTC はマルチ参加、弱回線からの自動再接続、NAT 越えを標準でサポート──これはプロトコルレベルの優位性
- Pipeline API の組み合わせが柔軟で、STT/LLM/TTS を自由に交換可能
- 主要モデルベンダーがプラグインを内蔵済みで、Deepgram、OpenAI、Cartesia、Anthropic がすぐにつながる
短所:
- エコシステムが LiveKit Cloud に紐づいており、国内での運用は接続性の検証が必要
- TTS/ASR を国産サービス (讯飞、火山、阿里云) とつなぐには自前でプラグインを書く必要がある
- Python のみ対応で、Node/Go ユーザーは別の手を考える必要がある
実際に試してみた
公式の multimodal-agent demo をローカルで動かした結果が以下のとおり。
- ファーストバイト応答:~800ms (ローカル STT + GPT-4o-mini + ローカル TTS)
- LiveKit Cloud 経由:遅延は 1.2 秒前後で安定
- 弱回線シミュレーション (
tc netemで 200ms 遅延 + 2% ロス):WebRTC は自動再接続、WebSocket 方式は同じ条件で 3 回切断 - コード量比較:同じ機能で LiveKit Agents は 80 行、生 WebSocket + ASR/LLM/TTS SDK を手書きすると 300 行超
数値はネットワーク環境やモデル選択で変動するが、オーダーは正しい──LiveKit Agents はエンジニアリングのハードルを 3 分の 2 削り落とす。
誰に向いているか
向いているケース:
- 音声コールセンター、AI ロールプレイ、ビデオ会議 Agent を開発するチーム
- マルチプラットフォーム (Web/iOS/Android) 対応が必要なプロジェクト
- リアルタイム性と弱回線体験を重視するシーン
向いていないケース:
- 純粋なテキスト Agent (牛刀割鶏)
- リアルタイム性が不要なシーン
- データコンプライアンスが厳しく完全イントラネットが必須のプロジェクト──自前 SFU クラスタには運用コストが伴う
編集後記
LiveKit Agents の本当の価値は Python API の美しさではなく、「難しいけれど正しい」WebRTC インフラを標準化したことにある。
これまで音声 Agent を作ろうとすると、チームは WebSocket の脆弱性に耐えるか、自分で 3 ヶ月かけて WebRTC を勉強するかの二者択一だった。今は 10 行で動く──ハードルが下がったことで、競争はモデル選定・プロンプト設計・音声クローンといった上位レイヤに戻る。これは良い傾向だ。インフラ層がフレームワークに吸収されて、はじめてアプリケーション層が差別化を生める。
もう一つのシグナル:LiveKit Agents リポジトリが 13k+ stars 規模に達したことで、「Agent のボトルネックはモデルではなくエンジニアリングだ」という共通認識が広まっている。多くの demo を見てきたが、詰まるのは GPT-5 が動かないことではなく、地下鉄で WebSocket が切れることだ。
まだ検証できていない点:LiveKit Cloud の国内接続性については完全なテストを行えていない。本番運用しているチームがあれば情報を募りたい。もう一つは、大規模同時接続下での SFU 性能で、公式の独立したベンチマークは確認できていない。