工具

Strands 发布 2B 决策模型:Agent 推理可以不用大模型了吗?

开源、2B 参数、专攻 Agent 决策路由——Strands Decider 想证明小模型也能干大模型的活。

字号

Strands Decider 是什么

一句话:2B 参数、专做 Agent 决策路由的开源小模型。

Strands Agents 框架里一直跑"多模型协作"的架构——主 LLM 负责生成,周边一堆辅助模型负责分类、路由、抽取。Strands Decider 是这条线上新加的一环,不是替代主 LLM,而是接管"下一步做什么"的判断层。

用更直白的话说:你问 Agent "帮我订下周去上海的机票",主 LLM 还在负责写回复、调工具,但到底先查机票还是先确认日期、要不要问你要预算、失败后回退到哪一步——这些决策交给 Decider。

2B 参数凭什么接决策这个活

先讲一个反直觉的事实:决策路由本质是分类+排序问题,不是生成问题。

决策路由要做的事很窄:给定当前状态和候选动作,选一个最优下一步。不是写一段漂亮的回复,不是解释为什么选 A 而不是 B。这事儿和"写小说"完全不是一个难度量级。

Strands 团队的判断也基于这点——原博客里明确说这个模型是为"Agent decision routing"专门训练的,数据也是专门筛选的轨迹。好处有三:

  • 推理成本低:2B 模型跑在单卡甚至端侧都行,延迟和单次成本比调用 GPT-4/Claude 做规划低一个量级
  • 可自托管:权重开源,部署在自家机房,数据不出网
  • 不怕数据外泄:决策轨迹里经常包含用户意图、工具调用上下文,这些走云端大模型本来就有合规风险

另外一点经常被忽略:2B 模型的输出更稳定。决策路由对一致性要求高,大模型有时候"发挥"一下,同一个状态给出不同动作,小模型反而更可控。

对比现有方案:它和 ReAct、Function Calling 不一样

现在市面上 Agent 决策大致三条路:

  1. 主 LLM 自己规划:ReAct、Plan-and-Solve 都是这套,主模型一边生成回复一边决定下一步
  2. 用大模型做 router:比如拿 GPT-4 当分类器,把请求分发给不同专家模型
  3. 小模型路由 + 大模型生成:Strands Decider 走的就是这条

前两条路的共同问题:决策成本跟着主模型规模走。你用了 Claude 做主模型,决策成本就是 Claude 的成本。你想做高并发 Agent,账单直接起飞。

第三条路的思路是把"决策"和"生成"解耦:决策用小模型(便宜、快、可控),生成用大模型(贵、慢,但质量高)。整条流水线只有"必须上大模型"的环节才调大模型,其他地方都是小模型跑腿。

这其实不是 Strands 首创的思路。LlamaIndex 的一些 routing 工作、Haystack 的 classifier 都尝试过类似方向。但 Strands 把"决策路由"做成一个独立的、开源的、可自部署的模型,这是第一个。

HN 社区怎么看

上了 Hacker News 首页,104 分、20 条讨论,中等偏上热度。

几条有代表性的评论方向:

  • 支持自托管的:"终于有个能自己部署的决策模型了,不用每次都把用户意图发到 OpenAI"
  • 质疑 2B 体量的:"2B 真的够吗?真实场景的决策树很复杂,小模型见过的轨迹不够"
  • 关心 benchmark 的:"有没有和 GPT-4 router 的对比?没数字我不太敢上生产"
  • 架构层面的兴趣:"多模型协作这个方向对了,主模型不应该啥都干"

后两条评论指向同一个问题:目前没有公开的对比数据。这也是接下来要讲的。

实测缺口:没人跑过生产环境

老实讲,博客里缺的东西比给的东西多:

  • 没给 benchmark 数字——2B 模型在 SWE-bench、τ-bench 这些 Agent 评测上跑多少分?
  • 没给 latency 数据——一次决策推理多少 ms?对比用 Claude 做 router 节省多少?
  • 没给成本对比——自托管 2B 模型和调 API 比,实际 TCO 怎么样?
  • 没给"决策准确率"——给定同样的状态,Decider 和大模型 router 的选择重合率多少?

这些都是上线前必须知道的。Strands 团队现在只给了"模型存在"和"架构合理",没给"它真的好用"。

我的建议:先在内部低风险场景(比如客服 FAQ 路由、工具调用分发)小流量试用,不要直接上核心业务。

编辑思考

如果这条路跑通,Agent 架构会从"一个大模型包打天下"变成"小模型路由 + 大模型生成"的流水线——成本和延迟理论上都能压一个量级。这不是渐进式优化,是架构层面的分工重构。

但 2B 模型的泛化能力是硬伤。决策路由看起来是分类问题,真实场景里的"状态"千奇百怪——用户中途改主意、工具返回错误格式、上下文超长被截断——这些长尾情况 2B 模型没见过就容易翻车。目前能跑通的只会是结构化任务:FAQ 路由、工具分发、固定流程的客服。这些场景里 2B 够用。

和过去类似工作的区别:之前的路由小模型大多是闭源、API 调用、绑定特定框架(比如 LangChain 的某些组件)。Strands Decider 是第一个把"决策路由模型"做成独立开源权重、可以和任何 Agent 框架组合的产品形态。这让"小模型路由"从一个内部技巧变成了可复用的基础设施层。

我的判断:值得跟进,但离"小模型取代大模型做决策"还差至少两个版本。第一个版本证明能跑,第二个版本补 benchmark 和工具链,第三个版本才有可能进生产。Strands Decider 现在在第 0.5 个版本。

不确定的地方:2B 模型在多轮、复杂工具链场景下的稳定性我没法验证,博客也没说。如果有团队跑过真实数据,欢迎在评论区补一刀。


参考来源:

来源: https://strandsagents.com/blog/introducing-strands-decider/