昨天 Cloudflare 在官方博客扔了个东西出来:Clef —— 一类叫做 "decision models" 的小模型,专门做结构化决策,不是聊天也不是续写。配套还放了个 RL(强化学习)fine-tuning 平台,让你在 Workers 上直接微调、部署、跑推理。
HN 一上午冲到 168 分、56 条评论。对于 Cloudflare 这种偏基础设施的公司来说,这种讨论热度不太常见 —— 大家显然对"不是所有事都需要 LLM"这件事有点话想说。
Clef 是什么?和 LLM 有什么不同
Cloudflare 给的定义很直接:decision models 是为"结构化决策"设计的模型,不是为开放式文本生成设计的。
翻译一下人话:你给它一个固定格式的输入(比如一串特征、一段用户行为、几条规则),它给你一个明确的决策结果(分类标签、路由选择、风险分数、布尔判断)。它不做"帮我写一首关于秋天的诗"这种事。
和传统 LLM 的边界差异在三个地方:
- 输入输出结构:LLM 是开放域输入 + 自由生成;decision models 倾向于结构化输入 + 固定 schema 输出
- 任务定位:LLM 适合需要"理解+创造"的场景;decision models 适合"判断+选择"
- 资源开销:decision models 一般小得多 —— 几 MB 到几百 MB 级别,响应延迟可以做到毫秒级,成本也是数量级的差距
Cloudflare 自己没说 Clef 是某个具体模型架构,但从定位看,大概率是某种 encoder-only 或者 small transformer,专门为低延迟推理优化。
边缘推理 + RL 微调:Cloudflare 的算盘
Clef 不是孤品。它和 Cloudflare 整个 Workers 生态是绑定的。
完整的链路是这样的:
- 你用 Cloudflare 提供的 RL fine-tuning 平台,针对自己的决策任务训练/微调模型
- 训练完的模型直接部署到 Workers
- 用户请求在离他最近的边缘节点完成推理,延迟稳定在毫秒级
这个组合的杀伤力不在"模型多强",而在"链路多短"。传统做法是:数据回传到中心 → 大模型推理 → 结果返回。Cloudflare 想做的链路是:边缘节点直接推理 → 返回。整个过程不需要回中心,不需要大模型,延迟可能从 500ms 降到 20ms,成本从 $0.01/次降到 $0.0001/次。
对 Cloudflare 来说,真正的算盘是 Workers 平台的粘性。每次有人用 Clef + Workers 搭一个风控系统、一个智能路由、一个内容分类器,这个 workload 就永远留在了它的边缘网络上。AI 模型是钩子,基础设施才是渔网。
HN 168 分,社区在吵什么
帖子链接 news.ycombinator.com/item?id=49923692,评论区主要分成三派:
乐观派 —— 大意是"早就该这么做了"。有人算了一笔账:他们公司一年花在 OpenAI API 上的钱,如果换成自托管的小决策模型,能省 80% 以上,而且延迟更低。
怀疑派 —— 觉得这本质上是营销噱头,decision models 不是什么新东西,就是十年前的分类器换个马甲。"任何 tabular data + gradient boosting 都能做这事,为啥要用神经网络?"
警惕派 —— 担心 Cloudflare 又在搞"锁定"。一旦你把模型训练、部署、推理全放在它的生态里,迁移成本就很高了。"先免费让你用,等依赖深了就开始收钱。"
我个人觉得怀疑派有部分道理 —— decision models 这个概念确实不新。但 Cloudflare 的价值在于把整套工具链打包到边缘网络里,这种 "batteries included" 的体验,自己从头搭确实麻烦。
Decision models 能替代 LLM 吗?3 个反共识观察
我自己的判断:不能替代,但能接管大量被 LLM 错配的任务。
具体三个观察:
1. 分类、路由、风控这类任务,小模型常常更优。
LLM 在这些任务上往往是"杀鸡用牛刀"。你让它判断一条评论是不是垃圾,它要加载几十 GB 的参数、跑几百亿次浮点运算,最后给个 yes/no。但一个几 MB 的文本分类器能做到 95% 的准确率,延迟低两个数量级,成本低三个数量级。
2. 决策任务对"可控性"的要求远高于"创造性"。
LLM 最让人头疼的是什么?幻觉、不可复现、行为漂移。在风控场景里,模型今天判 pass、明天同一输入判 fail,这是事故。但在创意写作里,这种"发散性"反而是优点。决策模型因为结构简单、行为可预测,反而更符合生产环境的需求。
3. RL 微调让"专门化"变得可行。
过去小模型的最大问题是:通用能力差、定制成本高。但 RL fine-tuning 改变了这一点 —— 你可以针对自己的具体任务,用少量样本快速微调出一个高度专门化的决策模型。Cloudflare 把这个工具链开源,意味着这个门槛大幅降低了。
Clef 的意义,不是"取代 LLM",而是把"什么任务必须用大 LLM"这个默认假设摆到台面上,让大家重新想想。
编辑思考
为什么这件事和过去几轮"小模型 vs 大模型"的讨论不一样?
过去的讨论基本是"模型层面"的争论 —— Phi-3 比 GPT-4 小多少倍啦,Gemma 2 跑在手机上行不行啦。但 Cloudflare 这次抛出的不是单一模型,而是模型 + 微调平台 + 边缘部署的完整栈。这种"打包方案"的杀伤力,在于把"用小模型"这件事的工程成本打到了接近零。
Cloudflare 的真正意图也不是 AI 本身。如果它只是想做模型,直接发个 HuggingFace repo 就够了。它真正想做的,是让 Workers 平台变成 AI 推理的事实标准基础设施。每次有人用 Clef 搭一个生产系统,Cloudflare 就锁定了一个长期客户。这和 AWS 早年用 S3 免费额度圈用户是同一个逻辑。
一个我不确定的地方:RL 微调平台到底开放到什么级别?是只支持 Cloudflare 自家模型,还是兼容 HuggingFace 上的任意开源模型?是只跑在 Cloudflare GPU 上,还是支持 BYOC(自带云)?如果答案都是前者,那"开源"两个字就要打个折扣。博客文章里没看到详细说明,需要等代码仓库出来再看。
最后留一个判断:接下来 12 个月,会有越来越多公司把"能用小决策模型解决的任务"从 LLM 调用栈里剥出来。这不是技术趋势,是经济学趋势 —— 当你的账单每年涨 10 倍,而其中 80% 的调用其实只需要判断"是/否"的时候,换架构是迟早的事。