OmniRoute 是個用 TypeScript 寫的自架 AI 閘道,Docker 一行就能跑起來。一個相容 OpenAI 的端點就能串接多個供應商,內建自動 fallback、配額追蹤、長上下文壓縮。把 Claude Code、Cursor、Codex 的 base URL 指過去,就能在這些工具裡自由切換模型。
它解決了什麼問題
用 Claude Code、Cursor、Codex 這類 AI 編碼工具時,每個工具預設都綁死單一供應商。想換模型得改設定,想用免費額度得開好幾組帳號、記一堆 rate limit。OmniRoute 的思路就是:把這層抽象掉。
一個相容 OpenAI 的端點,串接多家供應商、多個模型,其中部分供應商有提供免費方案。後台自動計算配額、請求失敗就切下一家、長對話自動壓縮。目標是讓「分散的免費額度」變成一個共通的池子。
怎麼用
部署只要一行 Docker:
docker run -d -p 3500:3500 diegosouzapw/omniroute
服務會跑在 http://localhost:3500。
把 Claude Code 或 Cursor 的 base URL 改成 http://localhost:3500/v1,API key 隨便打(OmniRoute 自己處理驗證,這裡只是占位)。
直接用 OpenAI SDK 呼叫也行:
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'http://localhost:3500/v1',
apiKey: 'any-string',
});
const r1 = await client.chat.completions.create({
model: 'anthropic/claude-sonnet',
messages: [{ role: 'user', content: '寫一個 Python 快速排序' }],
});
console.log(r1.choices[0].message.content);
整個呼叫鏈對前端完全透明,SDK 不用動。
它怎麼運作(架構)
三個核心模組:
- Provider Adapter 層:把多家供應商的 API 差異(OpenAI、Anthropic、Gemini)統一成單一介面。寫一次程式碼,之後換供應商不用改。
- Quota Tracker + Fallback Router:即時追蹤每家供應商的剩餘配額。請求進來先查配額,有額度就發送,失敗或被限流就照策略(輪詢、優先權、cost-aware)切下一家。這跟一般代理最大的差別——不是單純轉發,而是真的知道「哪家快滿了」。
- 壓縮層:請求送出前壓縮 system prompt 與上下文,回應回來後壓縮工具呼叫結果,README 宣稱能省下相當比例的 tokens。
流程:Client → 壓縮層 → Router(查配額)→ Provider Adapter → 外部 API → 回傳壓縮。
它哪裡好 / 哪裡不好
好的地方:
- 相容 OpenAI 端點,現有工具零修改就能接入。
- 支援多個中國本地供應商(具體清單看官方 provider 列表),對中文使用者友善。
- TypeScript 全端自架,Docker 一行就啟動,門檻低。
- 相容 Claude Code、Codex、Cursor、OpenCode、Cline 等主流 AI 編碼工具。
- 支援 MCP 協議。
不好的地方:
- README 行銷味偏重。「每月聚合約 1.51B 免費 tokens」這種數字是把所有免費方案加總,並非真實可用額度。實際情況還是要看各家 ToS 跟 rate limit。
- 自架代表要自己跑服務、自己監控配額、自己更換各家 API key。維運成本並非零。
- 依賴多家供應商,任一家調整 ToS 都會受影響。某家關掉免費方案,這邊路由就空了。
- 壓縮層在 Coding Agent 場景效果不錯,但長對話品質可能會有損失。壓縮比越高,資訊流失越多。
誰適合用 / 誰不該用
適合:
- 想白嫖多家供應商免費額度的個人開發者
- 用 Claude Code、Cursor 但想換成中國本地模型的中文使用者
- 自架愛好者,喜歡掌握資料流向
- 需要做 AI Agent 路由層二次開發的團隊
不適合:
- 企業正式環境——免費方案沒有 SLA 穩定性
- 只用單一供應商、額度又夠用的人——根本多此一舉
- 對延遲敏感的高頻正式場景——多一跳閘道就是多一跳延遲
編輯觀點
OmniRoute 本質上是 OpenRouter 的開源自架版本。核心價值不在「1.51B tokens」這種誇張數字,而是打破了「AI 編碼工具必須綁單一供應商」這個限制。
對中文使用者最實質的意義:可以在 Cursor、Claude Code 裡切到 DeepSeek、GLM、Kimi 等中國本地模型的免費方案,不用太擔心 Anthropic 封號或額度燒光。Anthropic 這兩年對中國 IP 與免費額度的政策一直在收緊,有一層聚合等於多留條退路。
這次跟過去 LiteLLM 這類專案不同的地方在於:OmniRoute 主打 AI Coding Agent 場景,加上上下文壓縮與配額感知的 fallback。這兩個功能過去是企業級 API 閘道(如 Cloudflare AI Gateway、Portkey)才有的功能,現在一個 Docker 容器就搞定。門檻從「公司買 SaaS」降到「個人拉一個映像檔」。
不確定的部分:具體支援的供應商數量與免費方案可用率(不少小型供應商可能是聚合站、二次封裝,穩定性存疑);核心維護者活躍度(單人專案的 bus factor 是 1);壓縮對程式碼生成品質的具體影響還需要更多 benchmark。