Amazon 称,用 Strands Decider 替换 Claude Sonnet 4.6 后节省了数百万美元。真正值得拆的不是模型单价,而是 Agent 的决策层被单独优化了。
数百万美元到底省在哪
Amazon 表示,实际业务使用 Strands Decider 替换 Claude Sonnet 4.6 后,节省了数百万美元。
公开摘要提到,这不只是模型选择的变化,还涉及模型调用成本、Agent 决策框架和模型路由策略。
这里要分开看:
- 模型调用降价:单次请求使用价格更低的模型,输入和输出 Token 费用下降。
- 任务链降价:减少重复推理、无效工具调用、错误路由和重试。
数百万美元是 Amazon 给出的业务结果。但原始案例没有完整披露计算周期、任务量、并发规模,也没有给出替换前后的逐项费用。
因此,不能把全部节省都归因于模型单价。
更准确的理解是:Strands Decider 改变了 Agent 的决策层。Claude Sonnet 4.6 原先承担的一部分工作,可能被转移、缓存,或交给更适合处理结构化决策的模型。
Sonnet 负责生成,Decider 负责决定
Strands Decider 与 Claude Sonnet 4.6 的差异,不是能力排行榜上的高低,而是分工不同。
可以理解成两层:
- 生成层:理解需求、组织答案、生成代码或工具调用参数。
- 决策层:判断下一步做什么、是否调用工具、选择哪条路径。
传统做法是让同一个通用模型包办所有工作。
一次任务如果经历 8 轮推理、3 次工具调用和 2 次重试,昂贵模型可能被反复唤起。上下文通常也会随轮次变长。
总推理成本 ≈ Σ(每轮输入 Token × 输入单价
+ 每轮输出 Token × 输出单价
+ 工具调用与重试附加成本)
如果决策可以由更轻量、输出更短的模型完成,就不必让 Sonnet 4.6 连续处理所有步骤。
这不是弱模型替代强模型,而是把路由决策从内容生成中分离出来。Sonnet 4.6 继续负责理解和生成,Decider 处理结构化判断。
这类架构更像编译器:
- 中间表示足够稳定。
- 不同阶段可以使用不同模型。
- 决策结果可以记录、评测和重放。
- 高成本模型只在必要路径上运行。
反共识:贵模型未必该全程调用
企业选模型时,常见做法是按单轮请求估算 Token 费用:
estimated_cost = (
input_tokens / 1_000_000 * input_price
+ output_tokens / 1_000_000 * output_price
)
但 Agent 的真实账单不只有 Token。一个请求可能触发多个步骤:
用户请求
→ 意图判断
→ 工具选择
→ 参数生成
→ 工具执行
→ 结果解析
→ 失败重试
→ 最终回答
只要路由选错,后续昂贵调用都可能白做。
便宜的模型如果频繁选错工具,任务链会被拉长。贵的模型如果始终参与每个小判断,Token 也会快速累积。
优化单次生成,不一定能降低整条任务链成本。
更实用的指标应该包括:
- 每个成功任务的模型总成本。
- 每个成功任务的工具调用次数。
- 无效步骤占比。
- 重试率与恢复率。
- 决策结果能否稳定复现。
我更倾向于把 Agent 成本看成“计算预算”,而不是“模型价格表”。
企业 Agent 要拆四笔账
1. 模型费用
包括输入、输出、缓存命中、工具结果回填,以及重试产生的额外 Token。
如果 Decider 输出短 JSON,理论上可以减少昂贵模型处理结构化决策的次数。但是否下降,要看路由命中率,不能只看 Decider 的单次价格。
2. 编排开销
Agent 还要承担状态保存、上下文组装、事件分发、工具协议转换和超时控制等成本。
这部分未必出现在模型 Token 账单里,却会影响延迟和维护成本。
3. 重试机制
工具失败、输出不合规和超时,都可能触发重试。重试应该由显式规则控制,而不是把同一段上下文再发给昂贵模型碰运气。
常见做法:
- 对可恢复错误执行有限次数重试。
- 将错误类型映射到固定恢复路径。
- 对决策输出做 schema 校验。
- 对重复失败停止任务,避免继续消耗 Token。
4. 评测体系
如果只看平均 Token 成本,企业很容易得出错误结论:模型越便宜,系统越好。
更实用的评测应按任务结果分层,至少记录:
task_success_rate
tool_call_count
invalid_tool_call_rate
retry_rate
end_to_end_cost
p50 / p95 latency
然后比较两种架构:
- 所有步骤都使用 Claude Sonnet 4.6。
- Sonnet 4.6 负责生成,Strands Decider 负责路由和决策。
只有任务成功率相当、总成本更低,替换才有意义。
案例有哪些边界
原始文章发布后登上 Hacker News 首页。讨论集中在三个问题。
基准测试能否复现
业务案例和公开 benchmark 不是一回事。
Amazon 的工作负载包含内部数据、工具集、提示词和路由规则。外界用模拟任务测试 Strands Decider,无法复现完整的成本结构。
要验证结论,除了最终平均成本,还需要任务分布、成功率和重试数据。否则“节省数百万”更接近案例报告,不是通用的模型选型结论。
能不能迁移到其他企业
架构思想可以迁移,具体数字不能照搬。
如果任务高度固定、工具调用频繁、可选路径有限,单独优化决策层通常有价值。如果任务依赖开放式推理,决策和生成本就纠缠在一起,拆层可能增加编排成本,甚至降低成功率。
数百万美元口径是否透明
原始材料不足以确认:
- 节省周期是几个月还是一年。
- 业务规模是多少。
- 是否包含迁移、监控和评测投入。
- 节省来自模型单价、调用次数,还是两者共同作用。
- Decider 自身使用的模型和基础设施成本是多少。
这不代表案例无效。但企业做技术决策时,不能只抄结论,不拆边界。
编辑思考
这次案例重要的不是 Amazon 找到了一款更便宜的模型,而是它把 Agent 的“决定做什么”与“把事情做出来”拆成两层。这和过去常见的模型降本不同:蒸馏、量化、缓存和换小模型主要降低单次推理成本;这次讨论的是重新分配整条任务链的计算预算。
我的判断是,模型路由会成为企业 Agent 的基础组件,但 Decider 不一定长期绑定某个模型。它更像一个可评测、可替换的决策接口。Amazon 后续也可能调整底座模型,继续保留决策层与生成层的边界。
不确定之处也很明确:原始材料没有完整说明数百万美元覆盖的周期、任务量和迁移成本。没有成功率、调用次数与重试率,单独公布总节省容易误导。可迁移的做法不是照抄金额,而是先按任务结果核算总账,再决定哪一层值得使用昂贵模型。