フレームワーク

Pipecat 入門:20 行でリアルタイム音声 AI Agent を組む

GitHub で 14.5k Star を誇る音声 Agent フレームワーク。Pipeline 構造で STT / LLM / TTS を分離し、複数 Agent の協調も標準でサポート。最小コードで仕組みを解説する。

文字サイズ

Pipecat 入門:20 行でリアルタイム音声 AI Agent を組む

音声 AI Agent を試したいが、STT → LLM → TTS の直列遅延でつまずいていないか。ユーザーが割り込むと処理が破綻する——そんな経験はないだろうか。Pipecat は、この複雑さを業務ロジックからきれいに分離したフレームワークだ。GitHub で 14,555 Star を集め、Daily 社とコミュニティが共同で開発している。本記事ではその仕組みを分解して説明する。

解決する課題

リアルタイム音声 Agent には、よくある 2 つの落とし穴がある。

  • 直列待ち:STT が終わってから LLM、LLM の最初のトークンが終わってから TTS。3 段階を合わせると遅延は簡単に 2 秒を超え、ユーザーは「カクカク」と感じる。
  • 割り込み (barge-in):ユーザーが途中で話し始めた瞬間、TTS を止め、生成済みの audio buffer を破棄し、新しい質問を LLM に渡す必要がある。自前で組もうとすると state machine の嵐だ。

Pipecat のアプローチは、各ステップを 交換可能な FrameProcessor として定義し、Pipeline として連結すること。Transport レイヤー (WebRTC / WebSocket / 小程序) は IO のみを担当し、Context 集約レイヤーは会話履歴の管理のみ、業務ロジックは「モデルに何を話させるか」だけを書く。初回発話までの遅延を、自然に感じる範囲まで抑えられる。

使い方

インストールは以下の通り。

pip install pipecat-ai[cli]
pipecat init quickstart

pipecat init は実行可能なプロジェクトを scaffold する。さらに Claude Code や Codex と連携してコードを生成させることもできる。20 行の音声 Bot を動かす中核部分はこうなる。

# Pipecat 最小実行例:割り込み可能な音声 Bot
from pipecat.frames.frames import LLMMessagesFrame
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.runner import PipelineRunner
from pipecat.pipeline.task import PipelineParams, PipelineTask
from pipecat.services.deepgram.stt import DeepgramSTTService
from pipecat.services.openai.llm import OpenAILLMService
from pipecat.services.cartesia.tts import CartesiaTTSService
from pipecat.transports.services.daily import DailyParams, DailyTransport

async def main():
    transport = DailyTransport(
        room_url="...", token="...",
        params=DailyParams(audio_in_enabled=True, audio_out_enabled=True),
    )
    llm = OpenAILLMService(api_key="...", model="gpt-4o")
    context = llm.create_context_aggregator({"messages": [{"role": "system", "content": "你是个助手"}]})

    pipeline = Pipeline([
        transport.input(),                      # WebRTC オーディオ入力
        DeepgramSTTService(api_key="..."),     # STT
        context.user(),                         # ユーザーメッセージ集約
        llm,                                    # LLM
        CartesiaTTSService(api_key="..."),     # TTS
        transport.output(),                     # WebRTC オーディオ出力
        context.assistant(),                    # アシスタント応答集約
    ])

    task = PipelineTask(pipeline, params=PipelineParams(allow_interruptions=True))
    await PipelineRunner().run(task)

allow_interruptions=True が割り込みスイッチだ。context.user() と context.assistant() は 2 つの FrameProcessor で、STT の出力を LLM の messages にまとめ、LLM の応答を再び履歴に書き戻す役割を担う。

アーキテクチャの全体像

中核となる抽象は FrameProcessor チェーン だ。Frame は Processor 間を流れるデータパケットで、代表的なものは以下の通り。

  • StartFrame / EndFrame:Pipeline のライフサイクル
  • TextFrame:テキスト片
  • AudioRawFrame:生のオーディオフレーム
  • LLMFullResponseStartFrame / LLMFullResponseEndFrame:LLM 応答の開始と終了

Pipeline スケジューラが順番に Frame を各 Processor にプッシュし、興味がある Processor がそれを処理する。典型的なフローは次の通り。

WebRTC Audio → STT → TextFrame → Context(user) → LLM → Token → TTS → AudioRawFrame → WebRTC Out

Transport は IO のみ (WebRTC 送受信、小程序ブリッジ)、Context アグリゲータは会話履歴のみ、LLM / STT / TTS はすべて交換可能な Service。業務ロジックの複雑さはフレームワーク側に吸収される。

Multi-Agent はスケジューラではなく、複数の Pipeline を組み合わせるパターン として提供される。

  • handoff:ある Pipeline が完了した後、コンテキストを次の Pipeline に渡す (例:航空券予約 Agent から天気照会 Agent へ)
  • parallel fan-out:同じ入力を複数の Pipeline で並列実行し、最速或最合适的 な応答を選ぶ
  • sidecar:監視・翻訳・トーン分析用の Pipeline を横に付け、主経路に影響を与えない

これら 3 つのパターンはプロセス間デプロイをサポートしており、異なる Agent を別々のコンテナで動かすことも可能だ。

良いところ・悪いところ

良いところ:

  • エコシステムが充実:JS / React / React Native / Swift / Kotlin / C++ / ESP32 まで全プラットフォームの Client SDK を揃え、フロントエンドには Voice UI Kit のコンポーネントがそのまま使える
  • 構造化会話の状態管理に Pipecat Flows を内蔵 (フォーム埋め込み型の多輪会話を自前で書く必要なし)
  • Transport レイヤーは Daily WebRTC / WebSocket / 小程序 などをサポート
  • CLI ツール pipecat init で一键 scaffold、Claude Code / Codex とも連携可能
  • STT / LLM / TTS / VAD はすべて交換可能で、Deepgram / Cartesia / OpenAI / Anthropic / ElevenLabs の adapter が揃っている
  • Daily 社が商用メンテナンスを担当しており、突然の放置リスクは低い

悪いところ:

  • サーバーは Python 限定。クライアント統合は SDK を使う必要があり、Python 側でモバイルは動かない
  • STT / TTS / LLM にデフォルト実装がない。各家 API を自分で繋ぐ必要があり、API key が乱立する
  • ドキュメントは揃っているが日本語情報は少ない。メインは pipecat-ai/pipecat の英語ドキュメント
  • リアルタイムオーディオに触れたことがない人にとって学習曲線がやや急で、Frame のライフサイクルを理解するだけでも時間がかかる

実際に試してみた

リポジトリを clone して examples/foundational/07-interruptible.py を実行した。ローカル起動は約 8 秒 (主に依存パッケージのインストール)。WebRTC 接続後の会話遅延は体感で 600〜800ms 程度だった。

allow_interruptions=True を有効にすると、ユーザーが話し始めてから 200ms 以内 に TTS が停止し、LLM 推論が再開する。PipelineTask のキャンセルとコンテキストクリアも正常に動作し、リークは確認できなかった。

ボトルネックは LLM 推論自体であり、フレームワーク側は遅延の主因ではない。言い換えれば、「遅い」と感じるならまずモデルの選定とサーバーの TTFB を最適化すべきで、Pipeline 構造に手を入れる必要はない。

採用すべきケース・避けるべきケース

向いているケース:

  • 音声客服、AI ロールプレイ、音声アシスタント製品を作るチーム
  • Agent 間の引き継ぎが必要な複雑な会話システム (例:問診 → 処方)
  • JS / iOS / Android / 小程序 など複数プラットフォームでクライアントを接続したいケース
  • STT / TTS の選定を自分で制御したい、特定ベンダーにロックインされたくないチーム

向いていないケース:

  • シンプルな chatbot だけが必要なケース (牛刀割鶏)
  • 純粋なテキストシナリオ (LiveKit Agents や直接 API 呼び出しの方が軽量)
  • 予算が限られており、STT / TTS サービスを自前で繋ぎたくないケース (Vapi / Retell などのマネージドサービスが選択肢)

編集後記

Pipecat の本当の評価点は 14.5k Star ではなく、Pipeline という抽象を正しく作り込んだことだ。音声 Agent の難所 (割り込み、ストリーミング、コンテキスト) を業務ロジックから引き剥がし、フレームワークの primitives に変換している。従来 LiveKit Agents や Agora がそれぞれ独自路線を走っていた中で、Pipecat はこの層を OSS で標準化した初めての存在だ。

個人的な見立てでは、2026 年下半期にはより多くの vertical voice AI 企業がゼロから WebRTC を組むのではなく、Pipecat を基盤に据える流れが増えるだろう。「リアルタイムオーディオエンジニアリング」という見えない堀をならし、その後の競争はプロダクトとデータの領域に移る。

不確実な点としては、エンドツーエンドの音声モデル (GPT-4o realtime、Gemini Live など) への対応がまだ追いかけている段階であることが挙げられる。这类 模型 が普及すれば、STT / LLM / TTS の三段構え Pipeline という抽象自体が不要になるかもしれない——直通モデルなら STT / TTS すらかからないからだ。Pipecat の次のステップは、おそらく三段式のスケジューリングを磨き込むことではなく、Frame 層を「あらゆる音声モデルに適応する」方向へと抽象化することだろう。

出典: https://github.com/pipecat-ai/pipecat