昨日 Hacker News の首页で見かけたのが experientiallabs/experiential で、タイトルは "open OpenRouter"。第一印象は「また OpenRouter の OSS クローンか、5% の手数料を浮かせたいだけだろう」というものだった。
README を読み進めてみると、目を引いたのはレイテンシよりも、プロジェクトが自分自身をメンテナンスしているという点だった。Codex Agent が毎日プロバイダー API をクロールし、新規モデルをチェックして、リポジトリにモデルカタログ更新の PR を投げる。開発者はレビューするだけで、1000件超のモデルメタデータを手動でメンテナンスする必要がない。
レイテンシ削減より、こっちのほうがはるかに面白い。
単なる OpenRouter の代替ではない
OpenRouter が解決するのは「モデルを探して、キーを設定して、支払う」という部分。Experiential は同じことをしつつ、agent をひとつ追加している。リポジトリのメンテ担当として。
このニュアンスは多くの人が見落とす。"BYOK <1ms" のような数字だけ見ると、LiteLLM、Portkey、OpenRouter と同じ土俵でレイテンシを競っているだけに見える。ところが HN の投稿で作者が繰り返しているのは latency ではなく、"self-updating model registry" だ。
HN で「これただの LiteLLM では?」と問われたとき、作者はおおむねこう答えていた: LiteLLM のモデルリストは手動で追加する必要があるが、自分たちは agent が自動追加し、1日1回 PR を出す、と。
そこが違いだ。レイテンシ数字はただの入場料で、差別化は「インフラが自分自身を更新する」という点にある。
レイテンシをどう出しているのか
BYOK リクエストの追加オーバーヘッドは 1ms 未満、公式キー利用時は 2ms 未満。これは HN 投稿と README に書かれている数字。
実現のキモは2つある。
- Rust ネイティブで、Python wrapper を使っていない。Python だと ASGI / WSGI のレイヤーでプロセス内シリアライズと非同期スケジューリングだけで 5〜20ms かかる。Rust は tokio + hyper で、リクエストは基本的にルーティングとヘッダー透過だけ。
- リクエストボディをほぼパースしない。ゲートウェイは認証・モデル名・宛先エンドポイントを確認したらそのままプロバイダーに転送する。リトライ、prompt 書き換え、キャッシュは実装しない。それらは上流に任せる。
比較として、LiteLLM / Portkey はストリーミング形式の正規化、トークンカウント、backoff付きリトライを重ねるので追加で 5〜50ms かかる。Experiential はそれらを下流に押し出したので、レイテンシを 1ms 未満にできている。トレードオフは明確で、ミドルウェア的なロジック(統一フォールバック戦略など)が欲しい場合は自前で足す必要がある。
公式キーで 2ms 未満なのは上流の認証と SSL ハンドシェイクが乗るためで、BYOK で 1ms 未満なのはキー利用者側にあり、TLS セッションを再利用できるから。
Codex Agent が毎日 PR を投げるという荒業
ここがプロジェクトで一番尖った部分。
リポジトリ内に workflow(おそらく .github/workflows/sync-models.yml)があり、ざっくり次のような動きをする。
- Codex Agent がスケジュールで起動(毎日 UTC 0時)
- 全プロバイダーの
/v1/models相当をスキャン(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral、そして多数のセルフホスト backend) - リポジトリの
models.jsonなどのインデックスと突き合わせ - 新規 / 廃止 / 価格変更を検出したら diff を作って PR を投げる
- PR には changelog、プロバイダー出典リンク、新規モデルのコンテキスト長・価格などのメタデータが付く
メンテ担当はレビューするだけで、毎日手動でモデルを追加する必要はない。
本番環境で1週間動かすと何が起きるか、ざっくり想像してみた。
- 1日目:1000件超のモデルを同期、大半は既存データの refresh
- 3日目:いずれかのプロバイダーが新モデルを投入したので PR が出る
- 5日目:モデルが deprecate され、PR が自動フラグを立てる
- 7日目:GitHub Actions が7回ほど走り、PR 数は 0 から 10〜20 程度に増える
これは self-improving infra の走りだ。インフラは「書いて終わり」のコードではなくなり、上流の変化に合わせて自力で育っていく。
同じ系統のプロジェクトを自分は知らない。依存関係を自動更新するツール(Dependabot 等)は存在するが、モデルレジストリを自動更新するのは初めて見る。モデルカタログ膨張は極めて具体的な痛点で、Anthropic は年に4つ、OpenAI も同程度、Google はさらに多く、OSS コミュニティの Qwen / DeepSeek / Llama も日々新しい重みが出る。手動運用では追いつけない。
実際に解決している互換性问题
「主ゲートウェイ」として使うかはさておき、README にある互換性问题リストを眺めるだけでも価値がある。大きく5つ。
1. ストリーミング形式の差異
OpenAI は SSE で event type が chat.completion.chunk、delta は {role, content}。Anthropic は別形式の SSE で、event type が message_start / content_block_delta / message_stop、delta はより深くネストされる。Google Gemini もまた別。
Experiential はゲートウェイ層で正規化する。OpenAI 形式のリクエストを送れば、裏側で Anthropic 形式に変換して投げ、戻ってきた Anthropic イベントを再び OpenAI delta に変換して返す。下流コードは上流を意識しなくていい。
2. tool call の JSON schema 不一致
OpenAI の tool calls は {tool_calls: [{id, type, function: {name, arguments}}]}。Anthropic は {content: [{type: "tool_use", id, name, input}]}。OpenAI の arguments は string で自前で json.loads が必要、Anthropic は object でそのまま使える。
schema が揃わないとコードを2系統書く羽目になるが、Experiential はゲートウェイ層で吸収する。
3. モデルパラメータのマッピング
max_tokens、temperature、top_p は各社で命名が揃っているが、stop 配列、frequency_penalty、presence_penalty のサポート状況はバラバラ。Anthropic の thinking や OpenAI の reasoning_effort も後から追加された。
4. レート制限のバラバラさ
HTTP 429 は標準だが、Anthropic のヘッダーは `anthropic-ratelimit-requests-remaining`、OpenAI は `x-ratelimit-remaining-requests`。retry-after の意味も違う。Experiential はこれらを統一エラー構造に正規化する。
5. エラーハンドリング
プロバイダーごとに error code が違う(context_length_exceeded vs invalid_request_error vs RESOURCE_EXHAUSTED)。Experiential は OpenAI 互換のエラーオブジェクトに変換するので、下流の catch ロジックは1回書けば済む。
wrapper を自前で書くチームの9割はここで詰まる。Experiential がまとめて面倒を見てくれるので、削減できるコード量は馬鹿にならない。
乗り換える価値はあるか
判断基準をまとめておく。
- すでに OpenRouter / LiteLLM を使っていて明確な不満がない → そのまま様子見で良い。Experiential のエコシステムは新しく、ドキュメント、モニタリング、ダッシュボードはまだ整備中。
- vLLM(TGI や SGLang)をセルフホストしつつ Claude / GPT / Gemini も叩く → 移行するメリットが大きい。統一認証、統一ログ、統一課金まわりが、手書き wrapper よりもきれいに整理されている。
- モデルカタログ膨張にすでに苦しんでいる(新モデルの取り込みが数日遅れるなど) → そのまま試す価値あり。この用途は first-of-kind で代替がない。
ソースは github.com/experientiallabs/experiential、README の手順で動かせる。本番投入するなら、まず dev mode で Rust のビルド時間を見たほうが良い(プロジェクトサイズが大きく、コールドビルドは5〜10分)。
編集後記
self-maintaining インフラは新范式になるのか。自分の見立ては「なる、ただし境界あり」。
コードがコードを自動修正する仕組みは、ここ数年で依存管理(Dependabot)、セキュリティパッチ(Snyk auto-fix)、ドキュメント生成(LLM で changelog を書くプロジェクト多数)で実績を積んできた。モデルカタログはこれらより複雑で、プロバイダー横断・超高頻度・メタデータ多次元という特徴がある。Experiential がこの仕組みを最初に持ち込んだ点は記録に値する。
ただし、解決しているのは極めて具体的な「モデルカタログ膨張」問題である点には注意が必要だ。すべてのインフラが self-maintaining に向くわけではない。状態機械、分散プロトコル、暗号プリミティブを agent に書き換えさせるのはリスクが高すぎる。したがって「agent がインフラをメンテする」范式は広がるが、伸びるのは変更頻度が高く、失敗時のコストが低いサブドメインに限られる。
まだ見えない点:
- PR ワークフローが長期で安定して回るか。Codex がいつか hallucinate して存在しないモデルを入れてくる可能性はないのか。"agent が開いた PR は maintainer の approve 必須" という安全網が要るのか、現状の設計をまだ完全には読み切れていない。
- 大手の公式ゲートウェイがすぐに追随するか。OpenAI は代理のコンセプトを昔出过したことはある(製品ではない)、Anthropic は未だ出していないが、Cloudflare Workers AI が似た方向に進めている。Cloudflare がこのパターンを真似すれば、Experiential の先行者メリットは縮む。
- 本当の killer use case はゲートウェイではないかもしれない。"agent がモデルカタログを自動メンテナンスする" パターンが定着すれば、次の落とし所は prompt library の自動メンテ、eval suite の自動メンテ、RAG インデックスの自動メンテだろう。Experiential がゲートウェイに留まれば天井は限定的だが、"agent が ML infra をメンテする" 汎用フレームワークになれば話はもっと面白くなる。
レイテンシ数字ではなく、これを取り上げて单独に記事にした理由はここにある。次の AI infra 范式の走りである可能性を秘めているからだ。