昨天看到 experientiallabs/experiential 衝上 Hacker News 熱榜,標題寫著「open OpenRouter」。第一反應:又一個 OpenRouter 的開源分身,省那 5% 抽成,能有多大看頭?
點進 README 才發現,真正值得玩味的不是延遲數字,而是這個專案會自己維護自己——有個 Codex Agent 每天自動爬 provider API、檢查新模型、再開 PR 更新模型目錄。維護者只需要 code review,完全不用手動維護上千筆模型的中介資料。
這件事比省 latency 有意思得多。
這不只是另一個 OpenRouter 替代品
OpenRouter 解決的是「找模型、塞 API key、付款」這三件事。Experiential 想做同樣的事,但多塞了一個 agent 進去——讓它當倉庫的維護工。
這層意思很多人會忽略。光是看到「BYOK <1ms」這種性能數字,你會以為它跟 LiteLLM、Portkey、OpenRouter 是同一掛在比拚性能曲線的東西。但專案方在 HN 原文中反覆強調的不是 latency,而是「self-updating model registry」。
HN 上有人問「這不就是另一個 LiteLLM 嗎」,專案方回答大意是:LiteLLM 的模型清單得手動新增,他們用 agent 自動加,每天跑一次,每次開 PR。
差異就在這裡。性能數字只是入場券,真正的差異化在「infra 會自己改自己」這件事上。
延遲數字是怎麼壓出來的
BYOK 請求的額外開銷壓在 1ms 以內,走官方 key 則壓在 2ms 以內。這是專案方在 HN 自述的數字,README 裡也有。
怎麼做到的?兩個關鍵:
- Rust 原生實作,沒套 Python wrapper。Python 走 ASGI / WSGI 那套,光是 process 內序列化加上 async 排程就要 5-20ms。Rust 直接 tokio + hyper,請求進來基本就是路由配對加上 header 透傳。
- 請求本體幾乎不解析。閘道器只檢查認證、模型名稱、目標 endpoint,然後就轉給 provider。沒有重試邏輯、沒有 prompt 改寫、沒有 cache——這些全部丟給上游處理。
相比之下,LiteLLM / Portkey 這類閘道器通常會做串流格式統一、token 計數、含 backoff 的 retries,額外疊加 5-50ms。Experiential 把這些層都推給下游,所以延遲能壓到 1ms 以下。代價是:如果你想要中介層邏輯(例如統一的 fallback 策略),得自己另外加。
官方 key 壓在 2ms 以下是因為要走上游的認證和 SSL handshake,BYOK 壓在 1ms 以下則因為 key 在你自己手上,TLS session 可以重複利用。
Codex Agent 每天開 PR 是個狠招
這是整個專案最狠的部分。
倉庫裡有個 workflow(具體路徑是 .github/workflows/sync-models.yml,我沒看錯的話是這個檔名),跑起來是這樣:
- Codex Agent 被排程觸發(每天 UTC 0 點)
- 掃描所有 provider 的
/v1/models或對等端點(OpenAI、Anthropic、Google、DeepSeek、Cohere、xAI、Mistral,還有一堆自託管後端) - 比對當前倉庫的
models.json或類似索引檔 - 發現新模型、模型下線、價格異動 → 產生 diff → 開 PR
- PR 裡附完整的 changelog、provider 來源連結、新模型的 context window、價格等 metadata
維護者只需要 review,不用每天手動新增。
我試著想像了一下這個 agent 在正式環境跑一週會發生什麼:
- 第 1 天:同步上千筆模型,大部分是既有資料的 refresh
- 第 3 天:偵測到某個 provider 推出新模型,開 PR 加進去
- 第 5 天:某個模型被 deprecate,PR 自動標記
- 第 7 天:GitHub Actions 大概跑了 7 次,PR 數量從 0 漲到 10-20 個
這就是 self-improving infra 的雛型。基礎建設不再是一塊「寫完就不動」的程式碼,它會跟著上游變化自己長出來。
類似的專案我之前沒看過。生態圈裡有人做 auto-update dependency(例如 Dependabot),但 auto-update model registry 是第一次。模型目錄膨脹這個痛點非常具體——Anthropic 一年發 4 個模型,OpenAI 也是,Google 更誇張,再加上開源社群的 Qwen、DeepSeek、Llama 每天都有新權重釋出,手動維護根本跟不上節奏。
它解決了哪些真實的相容性問題
就算不拿它當主力閘道器,光是看它處理的相容性清單就值得讀一遍 README。五大類:
1. 串流格式差異
OpenAI 用 SSE,event type 是 chat.completion.chunk,delta 欄位是 {role, content}。Anthropic 用不同的 SSE 格式,event type 是 message_start / content_block_delta / message_stop,delta 結構巢狀更深。Google Gemini 又是另一套。
Experiential 在閘道層做標準化——你用 OpenAI 格式發請求,它幫你轉成 Anthropic 格式送出去,回來的 Anthropic 事件再轉回 OpenAI delta 給你。下游程式不用管上游到底是誰。
2. 工具呼叫 JSON schema 不一致
OpenAI 的 tool calls 回傳 {tool_calls: [{id, type, function: {name, arguments}}]},Anthropic 則是 {content: [{type: "tool_use", id, name, input}]}。arguments 欄位在 OpenAI 是 string,得自己 json.loads,Anthropic 是 object,直接用。
schema 不一致會讓你的程式被迫寫兩套分支,Experiential 在閘道層抹平。
3. 模型參數對應
max_tokens、temperature、top_p 這些參數各家命名差異不大,但 stop 序列、frequency_penalty、presence_penalty 幾家支援度不一。還有 Anthropic 的 thinking 參數、OpenAI 的 reasoning_effort,都是後來才加上去的。
4. 速率限制五花八門
HTTP 429 是標準規格,但 Anthropic 回傳的 header 是 anthropic-ratelimit-requests-remaining,OpenAI 則是 x-ratelimit-remaining-requests。retry-after 的語意也不一樣。Experiential 把這些統一成一致的錯誤結構。
5. 錯誤處理
每家 provider 有自己的 error code(context_length_exceeded 對上 invalid_request_error 對上 RESOURCE_EXHAUSTED),Experiential 翻譯成 OpenAI 相容的錯誤物件,下游 catch 邏輯只需要寫一次。
90% 的團隊自己寫 wrapper 時都會踩到這些坑。Experiential 把它們集中處理掉,省下的程式碼量非常可觀。
上手值不值得
給一個決策樹:
- 你已經在用 OpenRouter / LiteLLM,沒有明顯痛點 → 繼續用,保持觀望。Experiential 的生態還很新,文件、監控、dashboard 這些都還在補。
- 你在自託管 vLLM(或 TGI、SGLang)跑開源模型,同時又要串 Claude / GPT / Gemini → 搬遷收益明顯。統一認證、統一日誌、統一計費這件事,Experiential 設計得比手搓 wrapper 乾淨。
- 你對模型目錄膨脹已經感到痛苦(例如發現新模型總是晚了幾天才接到) → 直接試。這個 use case 它是業界首見,沒有替代品。
原始碼在 github.com/experientiallabs/experiential,照 README 步驟跑就行。如果要部署到正式環境,建議先跑 dev mode 看一眼 Rust 編譯時間(專案體積不小,cold build 可能要 5-10 分鐘)。
編輯觀察
self-maintaining 基礎建設會不會成為新範式? 我傾向「會,但有邊界」。
程式碼自動改程式碼這件事,過去幾年在依賴管理(Dependabot)、安全修補(Snyk auto-fix)、文件生成(很多專案串 LLM 自動寫 changelog)上已經跑通了。模型目錄比這些情境更複雜,因为它跨 provider、變動頻率极高、metadata 維度也多。Experiential 第一個把這套機制搬過來,值得記上一筆。
但要注意它解決的問題非常具體——「模型目錄膨脹」。不是所有 infra 都適合 self-maintaining。狀態機、分散式協定、密碼學原語這些東西,讓 agent 自己改風險太高。所以「agent 維護 infra」這個範式會擴張,但只擴張到變動頻繁 + 失敗代價低的子領域。
不確定的點:
- PR workflow 能不能長期跑穩。Codex 會不會某天 hallucinate 一個不存在的 model?需不需要加一層「agent 開的 PR 必須有 maintainer approve 才能 merge」的安全網?專案方目前的設計我還沒完全看清楚。
- 大廠官方閘道器會不會快速跟進。OpenAI 自己曾經提過代理的概念(不是產品),Anthropic 沒出,但 Cloudflare Workers AI 在做類似的事。如果 Cloudflare 把這個模式抄過去,Experiential 的先發優勢會被壓縮。
- 真正的 killer use case 可能不是閘道器。如果「agent 自動維護模型目錄」這個 pattern 跑通,下一個落點可能是 agent 自動維護 prompt library、自動維護 eval suite、自動維護 RAG 索引。Experiential 如果只做閘道器,天花板有限;如果做成「agent 維護 ML infra」的通用框架,會更有意思。
這也是我把它單獨拉出來寫的原因——不是因為延遲數字,而是因為它可能是下一個 AI infra 範式的雛型。