昨天 Cloudflare 在官方部落格丟出了一個東西——Clef,一類叫做 decision models 的小型模型,專門處理結構化決策,既不是聊天也不是文字接龍。配套還推出 RL(強化學習)fine-tuning 平台,讓你能在 Workers 上直接微調、部署、跑推理。
HN 一個早上衝到 168 分、56 則留言。對 Cloudflare 這種偏基礎設施的公司來說,這種討論熱度並不常見——大家顯然對「不是所有事都需要 LLM」這件事有不少話想說。
Clef 是什麼?跟 LLM 有什麼差別
Cloudflare 給的定義很直接:decision models 是為「結構化決策」設計的模型,不是為開放式文字生成設計的。
翻成白話:你餵給它一個固定格式的輸入(例如一串特徵、一段使用者行為、幾條規則),它給你一個明確的決策結果(分類標籤、路由選擇、風險分數、布林判斷)。它不會做「幫我寫一首關於秋天的詩」這種事。
跟傳統 LLM 的邊界差異在三個地方:
- 輸入輸出結構:LLM 是開放域輸入加自由生成;decision models 傾向於結構化輸入加固定 schema 輸出。
- 任務定位:LLM 適合需要「理解加創造」的場景;decision models 適合「判斷加選擇」。
- 資源開銷:decision models 通常小得多——幾 MB 到幾百 MB 等級,響應延遲可以壓到毫秒級,成本也是數量級的差距。
Cloudflare 自己沒明說 Clef 是哪種模型架構,但從定位來看,應該是 encoder-only 之類的小型 transformer,專門為低延遲推理最佳化。
邊緣推理加 RL 微調:Cloudflare 的盤算
Clef 不是單獨的產品,它跟 Cloudflare 整個 Workers 生態是綁在一起的。
完整鏈路是這樣的:
- 你用 Cloudflare 提供的 RL fine-tuning 平台,針對自己的決策任務訓練或微調模型。
- 訓練完的模型直接部署到 Workers。
- 使用者請求在離他最近的邊緣節點完成推理,延遲穩定在毫秒級。
這個組合的殺傷力不在「模型多強」,而在「鏈路多短」。傳統做法是:資料回傳到中心、大模型推理、然後結果返回。Cloudflare 想做的鏈路是:邊緣節點直接推理、然後返回。整個過程不用回中心、不用大模型,延遲可能從 500ms 降到 20ms,成本從每次 $0.01 降到 $0.0001。
對 Cloudflare 來說,真正的盤算是 Workers 平台的黏性。每次有人用 Clef 加 Workers 搭一套風控系統、一個智慧路由、一個內容分類器,這個 workload 就永遠留在它的邊緣網路上。AI 模型是魚鉤,基礎設施才是漁網。
HN 168 分,社群在吵什麼
貼文在 news.ycombinator.com/item?id=49923692,留言區大致分成三派:
樂觀派——大意是「早該這麼做了」。有人算了一筆帳:他們公司一年花在 OpenAI API 上的錢,如果換成自架的小型決策模型,能省 80% 以上,而且延遲更低。
懷疑派——覺得這本質上是行銷噱頭,decision models 不是什麼新東西,就是十年前的分類器換個名字。「任何 tabular data 加上 gradient boosting 都能做這件事,為什麼要用神經網路?」
警惕派——擔心 Cloudflare 又在搞「綁定」。一旦你把模型訓練、部署、推理全放在它的生態裡,轉移成本就很高了。「先免費讓你用,等依賴深了再開始收錢。」
我個人覺得懷疑派有部分道理——decision models 這個概念確實不新。但 Cloudflare 的價值在於把整套工具鏈打包進邊緣網路裡,這種「batteries included」的體驗,從頭自己兜會很麻煩。
Decision models 能取代 LLM 嗎?三個反共識觀察
我自己的判斷:無法取代,但能接管大量被 LLM 錯配的任務。
具體三個觀察:
1. 分類、路由、風控這類任務,小模型常常更優。
LLM 在這些任務上往往是殺雞用牛刀。你叫它判斷一條留言是不是垃圾,它要載入幾十 GB 的參數、跑幾百億次浮點運算,最後給一個 yes/no。但一個幾 MB 的文字分類器就能做到 95% 準確率,延遲低兩個數量級,成本低三個數量級。
2. 決策任務對「可控性」的要求遠高於「創造性」。
LLM 最讓人頭疼的是什麼?幻覺、無法重現、行為飄移。在風控場景裡,模型今天判 pass、明天同一輸入判 fail,這叫事故。但在創意寫作裡,這種「發散性」反而是優點。決策模型因為結構簡單、行為可預測,反而更符合生產環境的需求。
3. RL 微調讓「專門化」變得可行。
過去小模型最大的問題是:通用能力差、客製化成本高。但 RL fine-tuning 改變了這一點——你可以針對自己的具體任務,用少量樣本快速微調出一個高度專門化的決策模型。Cloudflare 把這個工具鏈開源,等於把門檻砍到很低。
Clef 的意義,不是「取代 LLM」,而是把「什麼任務必須用大 LLM」這個預設立場攤開來,讓大家重新想一想。
編輯思考
為什麼這件事跟過去幾輪「小模型 vs 大模型」的討論不一樣?
過去的討論基本上是「模型層面」的爭論——Phi-3 比 GPT-4 小幾倍啦、Gemma 2 跑在手機上可不可以啦。但 Cloudflare 這次丟出的不是單一模型,而是模型加微調平台加邊緣部署的完整堆疊。這種「打包方案」的殺傷力,在於把「用小模型」這件事的工程成本壓到接近零。
Cloudflare 的真正意圖也不是 AI 本身。如果它只是想做模型,直接發個 HuggingFace repo 就夠了。它真正想做的,是讓 Workers 平台變成 AI 推理的事實標準基礎設施。每次有人用 Clef 搭一套生產系統,Cloudflare 就綁定一個長期客戶。這跟 AWS 早年用 S3 免費額度圈使用者是同一套邏輯。
一個我不確定的點:RL 微調平台到底開放到什麼程度?是只支援 Cloudflare 自家模型,還是相容 HuggingFace 上的任意開源模型?是只能跑在 Cloudflare GPU 上,還是支援 BYOC(自帶雲)?如果答案都是前者,那「開源」兩個字就要打個問號。部落格文章裡沒看到詳細說明,要等程式碼倉庫出來再觀察。
最後留一個判斷:接下來 12 個月,會有越來越多公司把「能用小決策模型解決的任務」從 LLM 呼叫堆疊裡剝出來。這不是技術趨勢,是經濟學趨勢——當你的帳單每年翻 10 倍,而其中 80% 的呼叫其實只需要判斷「是或否」的時候,換架構是遲早的事。