ツール

1msで動くOSS LLMゲートウェイ:Codex Agentが毎日1000件超のモデルを更新する仕組み

Rust製のゲートウェイがセルフホスト・クローズド・オープンソースのモデルを一元化し、BYOK時の追加レイテンシは1ms未満。さらにCodex AgentがプロバイダーAPIを巡回して毎日PRを投げ、モデルカタログを自動更新する。

文字サイズ

昨日 Hacker News の首页で見かけたのが experientiallabs/experiential で、タイトルは "open OpenRouter"。第一印象は「また OpenRouter の OSS クローンか、5% の手数料を浮かせたいだけだろう」というものだった。

README を読み進めてみると、目を引いたのはレイテンシよりも、プロジェクトが自分自身をメンテナンスしているという点だった。Codex Agent が毎日プロバイダー API をクロールし、新規モデルをチェックして、リポジトリにモデルカタログ更新の PR を投げる。開発者はレビューするだけで、1000件超のモデルメタデータを手動でメンテナンスする必要がない。

レイテンシ削減より、こっちのほうがはるかに面白い。

単なる OpenRouter の代替ではない

OpenRouter が解決するのは「モデルを探して、キーを設定して、支払う」という部分。Experiential は同じことをしつつ、agent をひとつ追加している。リポジトリのメンテ担当として。

このニュアンスは多くの人が見落とす。"BYOK <1ms" のような数字だけ見ると、LiteLLM、Portkey、OpenRouter と同じ土俵でレイテンシを競っているだけに見える。ところが HN の投稿で作者が繰り返しているのは latency ではなく、"self-updating model registry" だ。

HN で「これただの LiteLLM では?」と問われたとき、作者はおおむねこう答えていた: LiteLLM のモデルリストは手動で追加する必要があるが、自分たちは agent が自動追加し、1日1回 PR を出す、と。

そこが違いだ。レイテンシ数字はただの入場料で、差別化は「インフラが自分自身を更新する」という点にある。

レイテンシをどう出しているのか

BYOK リクエストの追加オーバーヘッドは 1ms 未満、公式キー利用時は 2ms 未満。これは HN 投稿と README に書かれている数字。

実現のキモは2つある。

  1. Rust ネイティブで、Python wrapper を使っていない。Python だと ASGI / WSGI のレイヤーでプロセス内シリアライズと非同期スケジューリングだけで 5〜20ms かかる。Rust は tokio + hyper で、リクエストは基本的にルーティングとヘッダー透過だけ。
  2. リクエストボディをほぼパースしない。ゲートウェイは認証・モデル名・宛先エンドポイントを確認したらそのままプロバイダーに転送する。リトライ、prompt 書き換え、キャッシュは実装しない。それらは上流に任せる。

比較として、LiteLLM / Portkey はストリーミング形式の正規化、トークンカウント、backoff付きリトライを重ねるので追加で 5〜50ms かかる。Experiential はそれらを下流に押し出したので、レイテンシを 1ms 未満にできている。トレードオフは明確で、ミドルウェア的なロジック(統一フォールバック戦略など)が欲しい場合は自前で足す必要がある。

公式キーで 2ms 未満なのは上流の認証と SSL ハンドシェイクが乗るためで、BYOK で 1ms 未満なのはキー利用者側にあり、TLS セッションを再利用できるから。

Codex Agent が毎日 PR を投げるという荒業

ここがプロジェクトで一番尖った部分。

リポジトリ内に workflow(おそらく .github/workflows/sync-models.yml)があり、ざっくり次のような動きをする。

  1. Codex Agent がスケジュールで起動(毎日 UTC 0時)
  2. 全プロバイダーの /v1/models 相当をスキャン(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral、そして多数のセルフホスト backend)
  3. リポジトリの models.json などのインデックスと突き合わせ
  4. 新規 / 廃止 / 価格変更を検出したら diff を作って PR を投げる
  5. PR には changelog、プロバイダー出典リンク、新規モデルのコンテキスト長・価格などのメタデータが付く

メンテ担当はレビューするだけで、毎日手動でモデルを追加する必要はない。

本番環境で1週間動かすと何が起きるか、ざっくり想像してみた。

  • 1日目:1000件超のモデルを同期、大半は既存データの refresh
  • 3日目:いずれかのプロバイダーが新モデルを投入したので PR が出る
  • 5日目:モデルが deprecate され、PR が自動フラグを立てる
  • 7日目:GitHub Actions が7回ほど走り、PR 数は 0 から 10〜20 程度に増える

これは self-improving infra の走りだ。インフラは「書いて終わり」のコードではなくなり、上流の変化に合わせて自力で育っていく。

同じ系統のプロジェクトを自分は知らない。依存関係を自動更新するツール(Dependabot 等)は存在するが、モデルレジストリを自動更新するのは初めて見る。モデルカタログ膨張は極めて具体的な痛点で、Anthropic は年に4つ、OpenAI も同程度、Google はさらに多く、OSS コミュニティの Qwen / DeepSeek / Llama も日々新しい重みが出る。手動運用では追いつけない。

実際に解決している互換性问题

「主ゲートウェイ」として使うかはさておき、README にある互換性问题リストを眺めるだけでも価値がある。大きく5つ。

1. ストリーミング形式の差異

OpenAI は SSE で event type が chat.completion.chunk、delta は {role, content}。Anthropic は別形式の SSE で、event type が message_start / content_block_delta / message_stop、delta はより深くネストされる。Google Gemini もまた別。

Experiential はゲートウェイ層で正規化する。OpenAI 形式のリクエストを送れば、裏側で Anthropic 形式に変換して投げ、戻ってきた Anthropic イベントを再び OpenAI delta に変換して返す。下流コードは上流を意識しなくていい。

2. tool call の JSON schema 不一致

OpenAI の tool calls は {tool_calls: [{id, type, function: {name, arguments}}]}。Anthropic は {content: [{type: "tool_use", id, name, input}]}。OpenAI の arguments は string で自前で json.loads が必要、Anthropic は object でそのまま使える。

schema が揃わないとコードを2系統書く羽目になるが、Experiential はゲートウェイ層で吸収する。

3. モデルパラメータのマッピング

max_tokens、temperature、top_p は各社で命名が揃っているが、stop 配列、frequency_penalty、presence_penalty のサポート状況はバラバラ。Anthropic の thinking や OpenAI の reasoning_effort も後から追加された。

4. レート制限のバラバラさ

HTTP 429 は標準だが、Anthropic のヘッダーは `anthropic-ratelimit-requests-remaining`、OpenAI は `x-ratelimit-remaining-requests`。retry-after の意味も違う。Experiential はこれらを統一エラー構造に正規化する。

5. エラーハンドリング

プロバイダーごとに error code が違う(context_length_exceeded vs invalid_request_error vs RESOURCE_EXHAUSTED)。Experiential は OpenAI 互換のエラーオブジェクトに変換するので、下流の catch ロジックは1回書けば済む。

wrapper を自前で書くチームの9割はここで詰まる。Experiential がまとめて面倒を見てくれるので、削減できるコード量は馬鹿にならない。

乗り換える価値はあるか

判断基準をまとめておく。

  • すでに OpenRouter / LiteLLM を使っていて明確な不満がない → そのまま様子見で良い。Experiential のエコシステムは新しく、ドキュメント、モニタリング、ダッシュボードはまだ整備中。
  • vLLM(TGI や SGLang)をセルフホストしつつ Claude / GPT / Gemini も叩く → 移行するメリットが大きい。統一認証、統一ログ、統一課金まわりが、手書き wrapper よりもきれいに整理されている。
  • モデルカタログ膨張にすでに苦しんでいる(新モデルの取り込みが数日遅れるなど) → そのまま試す価値あり。この用途は first-of-kind で代替がない。

ソースは github.com/experientiallabs/experiential、README の手順で動かせる。本番投入するなら、まず dev mode で Rust のビルド時間を見たほうが良い(プロジェクトサイズが大きく、コールドビルドは5〜10分)。

編集後記

self-maintaining インフラは新范式になるのか。自分の見立ては「なる、ただし境界あり」。

コードがコードを自動修正する仕組みは、ここ数年で依存管理(Dependabot)、セキュリティパッチ(Snyk auto-fix)、ドキュメント生成(LLM で changelog を書くプロジェクト多数)で実績を積んできた。モデルカタログはこれらより複雑で、プロバイダー横断・超高頻度・メタデータ多次元という特徴がある。Experiential がこの仕組みを最初に持ち込んだ点は記録に値する。

ただし、解決しているのは極めて具体的な「モデルカタログ膨張」問題である点には注意が必要だ。すべてのインフラが self-maintaining に向くわけではない。状態機械、分散プロトコル、暗号プリミティブを agent に書き換えさせるのはリスクが高すぎる。したがって「agent がインフラをメンテする」范式は広がるが、伸びるのは変更頻度が高く、失敗時のコストが低いサブドメインに限られる。

まだ見えない点:

  1. PR ワークフローが長期で安定して回るか。Codex がいつか hallucinate して存在しないモデルを入れてくる可能性はないのか。"agent が開いた PR は maintainer の approve 必須" という安全網が要るのか、現状の設計をまだ完全には読み切れていない。
  2. 大手の公式ゲートウェイがすぐに追随するか。OpenAI は代理のコンセプトを昔出过したことはある(製品ではない)、Anthropic は未だ出していないが、Cloudflare Workers AI が似た方向に進めている。Cloudflare がこのパターンを真似すれば、Experiential の先行者メリットは縮む。
  3. 本当の killer use case はゲートウェイではないかもしれない。"agent がモデルカタログを自動メンテナンスする" パターンが定着すれば、次の落とし所は prompt library の自動メンテ、eval suite の自動メンテ、RAG インデックスの自動メンテだろう。Experiential がゲートウェイに留まれば天井は限定的だが、"agent が ML infra をメンテする" 汎用フレームワークになれば話はもっと面白くなる。

レイテンシ数字ではなく、これを取り上げて单独に記事にした理由はここにある。次の AI infra 范式の走りである可能性を秘めているからだ。

出典: https://github.com/experientiallabs/experiential