OmniRoute 是个 TypeScript 写的自托管 AI 网关,Docker 一行部署。一个 OpenAI 兼容端点统一接入多 provider,自动 fallback、配额追踪、长上下文压缩。把 Claude Code、Cursor、Codex 的 base URL 指过去,就能在它们里面换模型。
它解决什么问题
用 Claude Code / Cursor / Codex 这类 AI Coding 工具,每个工具默认绑死单一 provider。想换模型得改配置,想用免费额度得开多个账号、记一堆 rate limit。OmniRoute 的思路是:把这层抽象掉。
一个 OpenAI 兼容端点,接多 provider / 多 model,其中部分 provider 有免费档。后台自动算配额、失败切下一个、长上下文压缩。目标是让"分散的免费额度"变成一个池子。
怎么用
部署一行 Docker:
docker run -d -p 3500:3500 diegosouzapw/omniroute
服务跑在 http://localhost:3500。
把 Claude Code 或 Cursor 的 base URL 改成 http://localhost:3500/v1,API key 随便填(OmniRoute 自己鉴权,这里只是占位)。
直接用 OpenAI SDK 调也成:
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'http://localhost:3500/v1',
apiKey: 'any-string',
});
const r1 = await client.chat.completions.create({
model: 'anthropic/claude-sonnet',
messages: [{ role: 'user', content: '写一个 Python 快速排序' }],
});
console.log(r1.choices[0].message.content);
调用链对调用方透明,SDK 不用改。
它怎么工作(架构)
三个核心模块:
-
Provider Adapter 层。把多个 provider 的 API 差异(OpenAI / Anthropic / Gemini)归一化成统一接口。写一次代码,后面换 provider 不动。
-
Quota Tracker + Fallback Router。实时追踪每个 provider 的剩余配额。请求来了先查配额,有额度就发,失败/限流就按策略(轮询 / 优先级 / cost-aware)切下一个。这和普通代理最大的区别——不是简单转发,是知道"哪家快满了"。
-
压缩层。请求前压缩 system prompt 和上下文,响应后压缩工具调用结果,README 声称节省显著比例 tokens。
流程:Client → 压缩层 → Router(查配额)→ Provider Adapter → 外部 API → 返回压缩。
它哪里好 / 哪里不好
好的地方:
- OpenAI 兼容端点,现有工具零改造接入。
- 支持多个国产 provider(具体看官方 provider 列表),对中文用户友好。
- TypeScript 全栈自托管,Docker 一行跑,门槛低。
- 兼容 Claude Code / Codex / Cursor / OpenCode / Cline 等主流 AI Coding 工具。
- 支持 MCP 协议。
不好的地方:
- README 营销味重。"聚合 ~1.51B 免费 tokens/月"这种数字是把所有免费档加总,不是真实可用额度。实际取决于各家 ToS 和 rate limit。
- 自托管意味着自己跑服务、监控配额、续各家 API key。运维成本不是零。
- 多 provider 依赖,任一家 ToS 变动都受影响。某 provider 关免费档,这边路由就空。
- 压缩层在 Coding Agent 场景效果不错,但对长对话质量可能有损耗。压缩比越高,信息损失越大。
谁该用 / 谁别用
适合:
- 想白嫖多 provider 免费额度的个人开发者
- 用 Claude Code / Cursor 但想换国产模型的中文用户
- 自托管爱好者,喜欢掌控数据流
- 需要做 AI Agent 路由层二次开发的团队
不适合:
- 企业生产环境——免费档稳定性无 SLA
- 只用单一 provider 且额度够用的人——多此一举
- 对延迟敏感的高频生产场景——多一跳网关就是多一跳延迟
编辑思考
OmniRoute 本质上是 OpenRouter 的开源自托管版。核心价值不是"1.51B tokens"这种夸张数字,而是把"AI Coding 工具必须绑单一 provider"这个限制打掉了。
对中文用户最实际的意义:可以在 Cursor / Claude Code 里切到 DeepSeek、GLM、Kimi 等国产模型的免费档,不用太担心 Anthropic 封号或额度烧光。Anthropic 这两年对中国 IP 和免费额度的政策一直在收紧,有一个聚合层等于留了退路。
这次和过去 LiteLLM 这类项目的不同在于:OmniRoute 主打 AI Coding Agent 场景,加了上下文压缩和配额感知 fallback。这两个功能以前是企业级 API 网关(如 Cloudflare AI Gateway、Portkey)才有的,现在一个 Docker 容器就跑。门槛从"公司买 SaaS"降到"个人拉一个镜像"。
不确定的地方:具体支持的 provider 数量和免费档可用率(很多小 provider 估计是聚合站、二次封装,稳定性存疑);核心维护者活跃度(单人项目的 bus factor 是 1);压缩对代码生成质量的具体影响需要更多 benchmark。