OmniRoute とは?
OmniRoute は TypeScript で書かれたセルフホスト型の AI ゲートウェイで、docker run 一行で起動できる。OpenAI 互換の単一エンドポイントが複数プロバイダを束ね、障害時の自動フォールバックやクォータ追跡、長文コンテキストの圧縮まで面倒を見てくれる。Claude Code・Cursor・Codex の base URL を OmniRoute に差し替えれば、そのまま別モデルへの切り替えが可能になる。
解決したい課題
Claude Code / Cursor / Codex のような AI コーディングツールは、基本的に 1 つのプロバイダと密結合している。モデルを切り替えるたびに設定を書き換え、無料枠を使いたいなら複数のアカウントでログインして、每个のレート制限を気にしなくてはならない。OmniRoute はこの層の煩雑さを吸収しようという発想だ。
OpenAI 互換のエンドポイントをひとつ用意し、複数のプロバイダ/モデル(なかには無料枠あり)を受け付ける。バックグラウンドでクォータを計算し、リクエストが失敗したら次の候補へ回し、長すぎるコンテキストは圧縮する。目指すところは「散らばった無料枠を一つのプールに集約する」こと。
使い方
デプロイは Docker 一行。
docker run -d -p 3500:3500 diegosouzapw/omnirouteサービスは http://localhost:3500 で待ち受ける。
Claude Code や Cursor の base URL を http://localhost:3500/v1 に書き換え、API key は適当な文字列で埋める(OmniRoute 側で実際の認証を行うため、ここはプレースホルダ扱い)。
OpenAI SDK 経由でもそのまま呼べる。
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'http://localhost:3500/v1',
apiKey: 'any-string',
});
const r1 = await client.chat.completions.create({
model: 'anthropic/claude-sonnet',
messages: [{ role: 'user', content: 'Write a Python quicksort' }],
});
console.log(r1.choices[0].message.content);呼び出し側からすれば、リクエストの経路は完全に透過的で、SDK 側のコードは変わらない。
アーキテクチャ
コアは大きく 3 つのモジュールに分かれている。
- Provider Adapter 層。OpenAI / Anthropic / Gemini など、プロバイダごとの API 差分を統一インターフェースに正規化する。書いたら一度きりで、以降はプロバイダを差し替えても呼び出し側は触らない。
- Quota Tracker + Fallback Router。各プロバイダの残りクォータをリアルタイムに把握する。リクエストが入るとまずクォータを引き、利用可能ならそのまま投げ、失敗やレート制限なら戦略(ラウンドロビン/優先度/コスト考慮)に従って次の候補に切り替える。一般的なプロキシとの違いは単なる転送ではなく「どこが残量逼迫しているか」を知っている点。
- Compression 層。リクエスト時は system prompt とコンテキストを圧縮し、レスポンス時はツール呼び出しの結果を圧縮する。README によれば、トークン消費が体感レベルで大きく減る。
全体フロー:Client → Compression 層 → Router(クォータ照会)→ Provider Adapter → 外部 API → レスポンスを圧縮して返却。
長所と短所
良いところ:
- OpenAI 互換エンドポイントなので、既存ツールをそのまま繋げる。
- 中国系のプロバイダ複数に対応(詳細は公式の provider リスト参照)で、中国圏のユーザーには馴染みやすい。
- TypeScript のフルスタック自前ホスト、Docker 一行で起動でき、導入のハードルが低い。
- Claude Code / Codex / Cursor / OpenCode / Cline といった主要な AI コーディングツールと互換。
- MCP プロトコルに対応。
気になるところ:
- README の marketing 色が強い。「無料枠を合計すると月 ~1.51B tokens」のような数字は、各社の無料枠を単純合算しただけで、実用に使える量ではない。各社の ToS とレート制限に依存する。
- セルフホストなので、サーバ運用・クォータ監視・各プロバイダの API key 管理は自分で行う必要がある。運用コストはゼロではない。
- 複数プロバイダに依存する構造上、どこか一つの ToS が変わると影響を受ける。特定プロバイダが無料枠を終了した瞬間、ルーティング先から消える。
- Compression 層は Coding Agent 用途ではそれなりに効くが、長めの対話では品質の劣化が出る可能性がある。圧縮率を上げれば情報の欠落も増える。
向き不向き
向いているケース:
- 複数プロバイダの無料枠を横断的に使い倒したい個人開発者。
- Claude Code / Cursor を使っていて、途中で中国系モデルに切り替えたいユーザー。
- セルフホスト好きで、データの流れを自分で握っておきたい層。
- AI Agent のルーティング層を内製したいチーム。
向かないケース:
- 本番環境——無料枠に SLA は付かない。
- 単一プロバイダで十分回せていて、わざわざ増やす必要がない人。
- レイテンシに厳しい高頻度 production——ゲートウェイが一枚噛む分だけ遅延が増える。
編集部の所感
OmniRoute は結局のところ、OpenRouter をセルフホストとして切り出したオープンソース版だ。本質的な価値は「1.51B tokens」のような派手な数字ではなく、「AI コーディングツールが特定プロバイダにロックされている」という制約を壊したところにある。
日本のユーザーにとっては、Cursor / Claude Code のなかで DeepSeek や GLM、Kimi など他のモデルに切り替えられる実用的な意味がある。Anthropic による特定地域向け無料枠やアクセス制限はここ数年で厳しくなりがちで、留保経路として集約レイヤーを持っておけるのは安心材料になる。
かつての LiteLLM などのプロジェクトと異なるのは、OmniRoute が AI Coding Agent 用途を強く意識し、コンテキスト圧縮とクォータ aware なフォールバックを盛り込んだ点。この 2 機能は従来 Cloudflare AI Gateway や Portkey のようなエンタープライズ向け API ゲートウェイの領域で、個人で Docker コンテナ 1 つで再現できるようになった。ハードルが「SaaS を会社で契約する」から「個人でイメージを pull する」へ下がったインパクトは小さくない。
まだ確証が取れていない部分:実際にサポートされているプロバイダの数と無料枠の実用率(中小どころはアグリゲーターや二次ラッパの可能性が高く、稼働率に不安が残る)、コアメンテナーの活動頻度(個人プロジェクトなのでバス係数は 1)、コード生成の品質に対する圧縮の具体的影響は追加ベンチマークが必要。