工具

1ms 開源 LLM 閘道器:Codex Agent 每日自動更新上千筆模型資料

Rust 打造的閘道器統一管理自託管、閉源與開源模型,BYOK 延遲壓在 1ms 以內;專案內建 Codex Agent 每天自動開 PR,同步最新模型目錄。

字級

昨天看到 experientiallabs/experiential 衝上 Hacker News 熱榜,標題寫著「open OpenRouter」。第一反應:又一個 OpenRouter 的開源分身,省那 5% 抽成,能有多大看頭?

點進 README 才發現,真正值得玩味的不是延遲數字,而是這個專案會自己維護自己——有個 Codex Agent 每天自動爬 provider API、檢查新模型、再開 PR 更新模型目錄。維護者只需要 code review,完全不用手動維護上千筆模型的中介資料。

這件事比省 latency 有意思得多。

這不只是另一個 OpenRouter 替代品

OpenRouter 解決的是「找模型、塞 API key、付款」這三件事。Experiential 想做同樣的事,但多塞了一個 agent 進去——讓它當倉庫的維護工。

這層意思很多人會忽略。光是看到「BYOK <1ms」這種性能數字,你會以為它跟 LiteLLM、Portkey、OpenRouter 是同一掛在比拚性能曲線的東西。但專案方在 HN 原文中反覆強調的不是 latency,而是「self-updating model registry」。

HN 上有人問「這不就是另一個 LiteLLM 嗎」,專案方回答大意是:LiteLLM 的模型清單得手動新增,他們用 agent 自動加,每天跑一次,每次開 PR。

差異就在這裡。性能數字只是入場券,真正的差異化在「infra 會自己改自己」這件事上。

延遲數字是怎麼壓出來的

BYOK 請求的額外開銷壓在 1ms 以內,走官方 key 則壓在 2ms 以內。這是專案方在 HN 自述的數字,README 裡也有。

怎麼做到的?兩個關鍵:

  1. Rust 原生實作,沒套 Python wrapper。Python 走 ASGI / WSGI 那套,光是 process 內序列化加上 async 排程就要 5-20ms。Rust 直接 tokio + hyper,請求進來基本就是路由配對加上 header 透傳。
  2. 請求本體幾乎不解析。閘道器只檢查認證、模型名稱、目標 endpoint,然後就轉給 provider。沒有重試邏輯、沒有 prompt 改寫、沒有 cache——這些全部丟給上游處理。

相比之下,LiteLLM / Portkey 這類閘道器通常會做串流格式統一、token 計數、含 backoff 的 retries,額外疊加 5-50ms。Experiential 把這些層都推給下游,所以延遲能壓到 1ms 以下。代價是:如果你想要中介層邏輯(例如統一的 fallback 策略),得自己另外加。

官方 key 壓在 2ms 以下是因為要走上游的認證和 SSL handshake,BYOK 壓在 1ms 以下則因為 key 在你自己手上,TLS session 可以重複利用。

Codex Agent 每天開 PR 是個狠招

這是整個專案最狠的部分。

倉庫裡有個 workflow(具體路徑是 .github/workflows/sync-models.yml,我沒看錯的話是這個檔名),跑起來是這樣:

  1. Codex Agent 被排程觸發(每天 UTC 0 點)
  2. 掃描所有 provider 的 /v1/models 或對等端點(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral,還有一堆自託管後端)
  3. 比對當前倉庫的 models.json 或類似索引檔
  4. 發現新模型、模型下線、價格異動 → 產生 diff → 開 PR
  5. PR 裡附完整的 changelog、provider 來源連結、新模型的 context window、價格等 metadata

維護者只需要 review,不用每天手動新增。

我試著想像了一下這個 agent 在正式環境跑一週會發生什麼:

  • 第 1 天:同步上千筆模型,大部分是既有資料的 refresh
  • 第 3 天:偵測到某個 provider 推出新模型,開 PR 加進去
  • 第 5 天:某個模型被 deprecate,PR 自動標記
  • 第 7 天:GitHub Actions 大概跑了 7 次,PR 數量從 0 漲到 10-20 個

這就是 self-improving infra 的雛型。基礎建設不再是一塊「寫完就不動」的程式碼,它會跟著上游變化自己長出來。

類似的專案我之前沒看過。生態圈裡有人做 auto-update dependency(例如 Dependabot),但 auto-update model registry 是第一次。模型目錄膨脹這個痛點非常具體——Anthropic 一年發 4 個模型,OpenAI 也是,Google 更誇張,再加上開源社群的 Qwen、DeepSeek、Llama 每天都有新權重釋出,手動維護根本跟不上節奏。

它解決了哪些真實的相容性問題

就算不拿它當主力閘道器,光是看它處理的相容性清單就值得讀一遍 README。五大類:

1. 串流格式差異

OpenAI 用 SSE,event type 是 chat.completion.chunk,delta 欄位是 {role, content}。Anthropic 用不同的 SSE 格式,event type 是 message_start / content_block_delta / message_stop,delta 結構巢狀更深。Google Gemini 又是另一套。

Experiential 在閘道層做標準化——你用 OpenAI 格式發請求,它幫你轉成 Anthropic 格式送出去,回來的 Anthropic 事件再轉回 OpenAI delta 給你。下游程式不用管上游到底是誰。

2. 工具呼叫 JSON schema 不一致

OpenAI 的 tool calls 回傳 {tool_calls: [{id, type, function: {name, arguments}}]},Anthropic 則是 {content: [{type: "tool_use", id, name, input}]}。arguments 欄位在 OpenAI 是 string,得自己 json.loads,Anthropic 是 object,直接用。

schema 不一致會讓你的程式被迫寫兩套分支,Experiential 在閘道層抹平。

3. 模型參數對應

max_tokens、temperature、top_p 這些參數各家命名差異不大,但 stop 序列、frequency_penalty、presence_penalty 幾家支援度不一。還有 Anthropic 的 thinking 參數、OpenAI 的 reasoning_effort,都是後來才加上去的。

4. 速率限制五花八門

HTTP 429 是標準規格,但 Anthropic 回傳的 header 是 anthropic-ratelimit-requests-remaining,OpenAI 則是 x-ratelimit-remaining-requests。retry-after 的語意也不一樣。Experiential 把這些統一成一致的錯誤結構。

5. 錯誤處理

每家 provider 有自己的 error code(context_length_exceeded 對上 invalid_request_error 對上 RESOURCE_EXHAUSTED),Experiential 翻譯成 OpenAI 相容的錯誤物件,下游 catch 邏輯只需要寫一次。

90% 的團隊自己寫 wrapper 時都會踩到這些坑。Experiential 把它們集中處理掉,省下的程式碼量非常可觀。

上手值不值得

給一個決策樹:

  • 你已經在用 OpenRouter / LiteLLM,沒有明顯痛點 → 繼續用,保持觀望。Experiential 的生態還很新,文件、監控、dashboard 這些都還在補。
  • 你在自託管 vLLM(或 TGI、SGLang)跑開源模型,同時又要串 Claude / GPT / Gemini → 搬遷收益明顯。統一認證、統一日誌、統一計費這件事,Experiential 設計得比手搓 wrapper 乾淨。
  • 你對模型目錄膨脹已經感到痛苦(例如發現新模型總是晚了幾天才接到) → 直接試。這個 use case 它是業界首見,沒有替代品。

原始碼在 github.com/experientiallabs/experiential,照 README 步驟跑就行。如果要部署到正式環境,建議先跑 dev mode 看一眼 Rust 編譯時間(專案體積不小,cold build 可能要 5-10 分鐘)。

編輯觀察

self-maintaining 基礎建設會不會成為新範式? 我傾向「會,但有邊界」。

程式碼自動改程式碼這件事,過去幾年在依賴管理(Dependabot)、安全修補(Snyk auto-fix)、文件生成(很多專案串 LLM 自動寫 changelog)上已經跑通了。模型目錄比這些情境更複雜,因为它跨 provider、變動頻率极高、metadata 維度也多。Experiential 第一個把這套機制搬過來,值得記上一筆。

但要注意它解決的問題非常具體——「模型目錄膨脹」。不是所有 infra 都適合 self-maintaining。狀態機、分散式協定、密碼學原語這些東西,讓 agent 自己改風險太高。所以「agent 維護 infra」這個範式會擴張,但只擴張到變動頻繁 + 失敗代價低的子領域。

不確定的點:

  1. PR workflow 能不能長期跑穩。Codex 會不會某天 hallucinate 一個不存在的 model?需不需要加一層「agent 開的 PR 必須有 maintainer approve 才能 merge」的安全網?專案方目前的設計我還沒完全看清楚。
  2. 大廠官方閘道器會不會快速跟進。OpenAI 自己曾經提過代理的概念(不是產品),Anthropic 沒出,但 Cloudflare Workers AI 在做類似的事。如果 Cloudflare 把這個模式抄過去,Experiential 的先發優勢會被壓縮。
  3. 真正的 killer use case 可能不是閘道器。如果「agent 自動維護模型目錄」這個 pattern 跑通,下一個落點可能是 agent 自動維護 prompt library、自動維護 eval suite、自動維護 RAG 索引。Experiential 如果只做閘道器,天花板有限;如果做成「agent 維護 ML infra」的通用框架,會更有意思。

這也是我把它單獨拉出來寫的原因——不是因為延遲數字,而是因為它可能是下一個 AI infra 範式的雛型。

來源: https://github.com/experientiallabs/experiential