工具

OmniRoute 是什麼?一個端點打通 350 家 AI 供應商的自架閘道

把 Claude Code、Cursor、Codex 接到 OmniRoute,自動 fallback、壓縮長上下文、配額即時監控,Docker 一行就能部署,自架完全免費。

字級

OmniRoute 是個用 TypeScript 寫的自架 AI 閘道,Docker 一行就能跑起來。一個相容 OpenAI 的端點就能串接多個供應商,內建自動 fallback、配額追蹤、長上下文壓縮。把 Claude Code、Cursor、Codex 的 base URL 指過去,就能在這些工具裡自由切換模型。

它解決了什麼問題

用 Claude Code、Cursor、Codex 這類 AI 編碼工具時,每個工具預設都綁死單一供應商。想換模型得改設定,想用免費額度得開好幾組帳號、記一堆 rate limit。OmniRoute 的思路就是:把這層抽象掉。

一個相容 OpenAI 的端點,串接多家供應商、多個模型,其中部分供應商有提供免費方案。後台自動計算配額、請求失敗就切下一家、長對話自動壓縮。目標是讓「分散的免費額度」變成一個共通的池子。

怎麼用

部署只要一行 Docker:

docker run -d -p 3500:3500 diegosouzapw/omniroute

服務會跑在 http://localhost:3500。

把 Claude Code 或 Cursor 的 base URL 改成 http://localhost:3500/v1,API key 隨便打(OmniRoute 自己處理驗證,這裡只是占位)。

直接用 OpenAI SDK 呼叫也行:

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'http://localhost:3500/v1',
  apiKey: 'any-string',
});

const r1 = await client.chat.completions.create({
  model: 'anthropic/claude-sonnet',
  messages: [{ role: 'user', content: '寫一個 Python 快速排序' }],
});
console.log(r1.choices[0].message.content);

整個呼叫鏈對前端完全透明,SDK 不用動。

它怎麼運作(架構)

三個核心模組:

  1. Provider Adapter 層:把多家供應商的 API 差異(OpenAI、Anthropic、Gemini)統一成單一介面。寫一次程式碼,之後換供應商不用改。
  2. Quota Tracker + Fallback Router:即時追蹤每家供應商的剩餘配額。請求進來先查配額,有額度就發送,失敗或被限流就照策略(輪詢、優先權、cost-aware)切下一家。這跟一般代理最大的差別——不是單純轉發,而是真的知道「哪家快滿了」。
  3. 壓縮層:請求送出前壓縮 system prompt 與上下文,回應回來後壓縮工具呼叫結果,README 宣稱能省下相當比例的 tokens。

流程:Client → 壓縮層 → Router(查配額)→ Provider Adapter → 外部 API → 回傳壓縮。

它哪裡好 / 哪裡不好

好的地方:

  • 相容 OpenAI 端點,現有工具零修改就能接入。
  • 支援多個中國本地供應商(具體清單看官方 provider 列表),對中文使用者友善。
  • TypeScript 全端自架,Docker 一行就啟動,門檻低。
  • 相容 Claude Code、Codex、Cursor、OpenCode、Cline 等主流 AI 編碼工具。
  • 支援 MCP 協議。

不好的地方:

  • README 行銷味偏重。「每月聚合約 1.51B 免費 tokens」這種數字是把所有免費方案加總,並非真實可用額度。實際情況還是要看各家 ToS 跟 rate limit。
  • 自架代表要自己跑服務、自己監控配額、自己更換各家 API key。維運成本並非零。
  • 依賴多家供應商,任一家調整 ToS 都會受影響。某家關掉免費方案,這邊路由就空了。
  • 壓縮層在 Coding Agent 場景效果不錯,但長對話品質可能會有損失。壓縮比越高,資訊流失越多。

誰適合用 / 誰不該用

適合:

  • 想白嫖多家供應商免費額度的個人開發者
  • 用 Claude Code、Cursor 但想換成中國本地模型的中文使用者
  • 自架愛好者,喜歡掌握資料流向
  • 需要做 AI Agent 路由層二次開發的團隊

不適合:

  • 企業正式環境——免費方案沒有 SLA 穩定性
  • 只用單一供應商、額度又夠用的人——根本多此一舉
  • 對延遲敏感的高頻正式場景——多一跳閘道就是多一跳延遲

編輯觀點

OmniRoute 本質上是 OpenRouter 的開源自架版本。核心價值不在「1.51B tokens」這種誇張數字,而是打破了「AI 編碼工具必須綁單一供應商」這個限制。

對中文使用者最實質的意義:可以在 Cursor、Claude Code 裡切到 DeepSeek、GLM、Kimi 等中國本地模型的免費方案,不用太擔心 Anthropic 封號或額度燒光。Anthropic 這兩年對中國 IP 與免費額度的政策一直在收緊,有一層聚合等於多留條退路。

這次跟過去 LiteLLM 這類專案不同的地方在於:OmniRoute 主打 AI Coding Agent 場景,加上上下文壓縮與配額感知的 fallback。這兩個功能過去是企業級 API 閘道(如 Cloudflare AI Gateway、Portkey)才有的功能,現在一個 Docker 容器就搞定。門檻從「公司買 SaaS」降到「個人拉一個映像檔」。

不確定的部分:具體支援的供應商數量與免費方案可用率(不少小型供應商可能是聚合站、二次封裝,穩定性存疑);核心維護者活躍度(單人專案的 bus factor 是 1);壓縮對程式碼生成品質的具體影響還需要更多 benchmark。

參考:OmniRoute GitHub 倉庫

來源: https://github.com/diegosouzapw/OmniRoute