Strands Decider 是什麼
一句話講完:2B 參數、專門做 Agent 決策路由的開源小模型。
Strands Agents 框架原本就採用「多模型協作」的架構——主 LLM 負責生成內容,周邊一堆輔助模型負責分類、路由、抽取。Strands Decider 是這條線上新加的一個環節,不是要取代主 LLM,而是接管「下一步該做什麼」的判斷層。
講得更直白一點:你跟 Agent 說「幫我訂下週去上海的機票」,主 LLM 還是負責寫回覆、呼叫工具,但到底要先查機票還是先確認日期、要不要問你預算、工具失敗後要回退到哪一步——這些判斷交給 Decider。
2B 參數憑什麼接下決策這個活
先說一個反直覺的事實:決策路由本質上是分類加排序的問題,不是生成問題。
決策路由要做的事情很明確:給定當前狀態和候選動作,選一個最優的下一個步驟。不是寫一段漂亮的回覆,也不是解釋為什麼選 A 不選 B。這種任務和「寫小說」完全不是同一個難度等級。
Strands 團隊的判斷也基於這點——官方部落格明確指出這個模型是為「Agent decision routing」專門訓練的,訓練資料也是特別篩選過的軌跡。這樣做的好處有三個:
- 推理成本低:2B 模型跑在單張 GPU 甚至終端裝置都行,延遲和單次成本比呼叫 GPT-4/Claude 來規劃低一個量級
- 可自架:權重開源,部署在自己機房,資料不外流
- 避免資料外洩:決策軌跡裡常常包含用戶意圖、工具呼叫上下文,這些丟到雲端大模型本來就有合規風險
另外一個常被忽略的點:2B 模型的輸出更穩定。決策路由對一致性要求很高,大模型有時候會「自由發揮」,同一個狀態給出不同動作;小模型反而更可控。
對比現有方案:它和 ReAct、Function Calling 有何不同
目前市面上 Agent 決策大致有三條路:
- 主 LLM 自己規劃:ReAct、Plan-and-Solve 都是這一套,主模型一邊生成回覆一邊決定下一步
- 用大模型當 router:例如拿 GPT-4 當分類器,把請求分派給不同的專家模型
- 小模型路由 + 大模型生成:Strands Decider 走的就是這條
前兩條路的共同問題:決策成本跟著主模型的規模走。你用 Claude 當主模型,決策成本就是 Claude 的成本。你想做高併發的 Agent,帳單直接炸裂。
第三條路的思路是把「決策」和「生成」解耦:決策用小模型(便宜、快、可控),生成用大模型(貴、慢,但品質高)。整條 pipeline 只有「必須上大型模型」的環節才調大模型,其他地方都是小模型跑腿。
這其實不是 Strands 首創的思路。LlamaIndex 的一些 routing 工作、Haystack 的 classifier 都試過類似方向。但 Strands 是第一個把「決策路由」做成獨立、開源、可自部署模型的團隊。
HN 社群怎麼看
上了 Hacker News 首頁,104 分、20 條討論,屬於中等偏上熱度。
幾條有代表性的留言方向:
- 支持自架派的:「終於有個能自己部署的決策模型了,不用每次都把用戶意圖丟給 OpenAI」
- 質疑 2B 體量的:「2B 真的夠嗎?真實場景的決策樹很複雜,小模型見過的軌跡不夠」
- 關心 benchmark 的:「有沒有跟 GPT-4 router 的對比?沒數字我不太敢上 production」
- 架構層面的興趣:「多模型協作這個方向對了,主模型不應該什麼都自己來」
後兩條留言指向同一個問題:目前沒有公開的對比數據。這也是接下來要談的。
實測缺口:沒人在生產環境跑過
老實講,部落格裡缺的東西比給的東西多:
- 沒給 benchmark 數字——2B 模型在 SWE-bench、τ-bench 這些 Agent 評測上跑多少分?
- 沒給 latency 數據——一次決策推理多少 ms?對比用 Claude 當 router 省多少?
- 沒給成本對比——自架 2B 模型和調 API 比,實際 TCO 怎麼樣?
- 沒給「決策準確率」——給定同樣的狀態,Decider 和大模型 router 的選擇重合度多少?
這些都是上線前必須知道的。Strands 團隊目前只給了「模型存在」和「架構合理」,沒給「它真的好用」。
我的建議:先在內部低風險場景(例如客服 FAQ 路由、工具呼叫分發)小流量試用,不要直接上核心業務。
編輯觀點
如果這條路跑通,Agent 架構會從「一個大模型包打天下」變成「小模型路由 + 大模型生成」的 pipeline——成本和延遲理論上都能壓一個量級。這不是漸進式優化,是架構層面的分工重構。
但 2B 模型的泛化能力是硬傷。決策路由看起來像分類問題,但真實場景裡的「狀態」千奇百怪——用戶中途改主意、工具回傳錯誤格式、上下文太長被截斷——這些長尾情況 2B 模型沒見過就容易翻車。目前能跑通的只會是結構化任務:FAQ 路由、工具分發、固定流程的客服。這些場景裡 2B 夠用。
和過去類似工作的差異:之前的路由小模型大多是閉源、API 呼叫、綁定特定框架(例如 LangChain 的某些元件)。Strands Decider 是第一個把「決策路由模型」做成獨立開源權重、可以和任何 Agent 框架組合的產品形態。這讓「小模型路由」從一個內部小技巧變成可重複使用的基礎設施層。
我的判斷:值得跟進,但離「小模型取代大模型做決策」還差至少兩個版本。第一個版本證明能跑,第二個版本補 benchmark 和工具鏈,第三個版本才有可能進 production。Strands Decider 現在大概在第 0.5 個版本。
不確定的部分:2B 模型在多輪、複雜工具鏈場景下的穩定性我沒辦法驗證,部落格也沒提。如果有團隊跑過真實資料,歡迎在留言區補上一刀。
參考來源: