Amazon 表示,以 Strands Decider 取代 Claude Sonnet 4.6 後,節省了數百萬美元。比模型單價更值得拆解的,是 Agent 的決策層已能獨立最佳化。
數百萬美元究竟省在哪裡
Amazon 表示,在實際業務中使用 Strands Decider 取代 Claude Sonnet 4.6,總共節省了數百萬美元。
公開摘要指出,這項改變不只涉及模型選擇,也涵蓋模型呼叫成本、Agent 決策框架,以及模型路由策略。
這些項目必須分開來看:
- 模型呼叫降價:單次請求改用價格較低的模型,輸入與輸出 Token 費用同步下降。
- 任務鏈降價:減少重複推理、無效工具呼叫、錯誤路由及重試。
數百萬美元是 Amazon 提出的業務成果,但原始案例未完整揭露計算週期、任務量、並行規模,也沒有列出替換前後的逐項費用。
因此,不能將所有節省都歸因於模型單價。
更精確地說,Strands Decider 改變了 Agent 的決策層。Claude Sonnet 4.6 原本負責的一部分工作,可能被轉移、快取,或交由更擅長處理結構化決策的模型執行。
Sonnet 負責生成,Decider 負責決策
Strands Decider 與 Claude Sonnet 4.6 的差異不在於能力排行榜上的高低,而是工作分工不同。
整體架構可以分成兩層:
- 生成層:理解需求、整理答案、產生程式碼或工具呼叫參數。
- 決策層:判斷下一步該做什麼、是否呼叫工具,以及選擇哪條執行路徑。
傳統做法是讓同一個通用模型包辦所有工作。
若一項任務經歷 8 輪推理、3 次工具呼叫及 2 次重試,昂貴模型可能反覆被喚起,上下文長度也會隨輪次增加。
總推理成本 ≈ Σ(每輪輸入 Token × 輸入單價
+ 每輪輸出 Token × 輸出單價
+ 工具呼叫與重試附加成本)
如果決策能由更輕量、輸出更短的模型完成,就不必讓 Sonnet 4.6 連續處理所有步驟。
這不是以弱模型取代強模型,而是將路由決策從內容生成中分離出來。Sonnet 4.6 繼續負責理解與生成,Decider 則處理結構化判斷。
這類架構更像編譯器:
- 中間表示足夠穩定。
- 不同階段可使用不同模型。
- 決策結果可以記錄、評測及重播。
- 高成本模型只在必要路徑上執行。
反直覺:昂貴模型未必該全程參與
企業選擇模型時,常見做法是按單輪請求估算 Token 費用:
estimated_cost = (
input_tokens / 1_000_000 * input_price
+ output_tokens / 1_000_000 * output_price
)
但 Agent 的實際帳單不只有 Token。一項請求可能觸發多個步驟:
使用者請求
→ 意圖判斷
→ 工具選擇
→ 參數生成
→ 工具執行
→ 結果解析
→ 失敗重試
→ 最終回答
只要路由選錯,後續所有昂貴呼叫都可能白做。
便宜的模型若頻繁選錯工具,任務鏈就會被拉長;昂貴的模型若參與每個細小判斷,Token 也會快速累積。
最佳化單次生成,不一定能降低整條任務鏈的成本。
更實用的指標應包括:
- 每個成功任務的模型總成本。
- 每個成功任務的工具呼叫次數。
- 無效步驟占比。
- 重試率與恢復率。
- 決策結果能否穩定重現。
與其把 Agent 成本視為「模型價格表」,更適合將它視為一份「計算預算」。
企業 Agent 得分清四筆帳
1. 模型費用
這包括輸入、輸出、快取命中、工具結果回填,以及重試產生的額外 Token。
如果 Decider 只輸出簡短的 JSON,理論上能減少昂貴模型處理結構化決策的次數。但是否真的下降,還得看路由命中率,不能只看 Decider 的單次價格。
2. 編排開銷
Agent 還需承擔狀態保存、上下文組裝、事件分派、工具協定轉換及逾時控制等成本。
這些成本未必出現在模型 Token 帳單中,卻會直接影響延遲與維護成本。
3. 重試機制
工具失敗、輸出不合規及逾時,都可能觸發重試。重試應由明確規則控制,而不是把同一段上下文再傳給昂貴模型碰運氣。
常見做法包括:
- 對可恢復錯誤執行有限次數的重試。
- 將錯誤類型對應至固定的恢復路徑。
- 對決策輸出執行 schema 驗證。
- 遇到重複失敗時停止任務,避免持續消耗 Token。
4. 評測體系
如果只看平均 Token 成本,企業很容易得出錯誤結論:模型越便宜,系統就越好。
更實用的評測應依任務結果分層,至少記錄以下數據:
task_success_rate
tool_call_count
invalid_tool_call_rate
retry_rate
end_to_end_cost
p50 / p95 latency
接著比較兩種架構:
- 所有步驟都使用 Claude Sonnet 4.6。
- 由 Sonnet 4.6 負責生成,Strands Decider 負責路由與決策。
只有在任務成功率相近、總成本更低的情況下,替換才具有意義。
案例有哪些適用邊界
原始文章發布後登上 Hacker News 首頁,討論主要聚焦三個問題。
基準測試能否重現
業務案例與公開 benchmark 並非同一回事。
Amazon 的工作負載包含內部資料、工具集、提示詞及路由規則。外界以模擬任務測試 Strands Decider,無法重現完整的成本結構。
要驗證這項結論,除了最終平均成本,還需要任務分布、成功率及重試資料。否則,「節省數百萬美元」更接近案例報告,並不能直接視為通用的模型選型結論。
能否移植到其他企業
架構理念可以移植,具體數字則不能直接套用。
如果任務高度固定、工具呼叫頻繁且可選路徑有限,單獨最佳化決策層通常能帶來價值。如果任務依賴開放式推理,決策與生成相互糾纏,拆層反而可能增加編排成本,甚至降低成功率。
數百萬美元的統計口徑是否透明
原始資料不足以確認:
- 節省週期是幾個月還是一年。
- 業務規模有多大。
- 是否計入遷移、監控及評測投入。
- 節省來自模型單價、呼叫次數,還是兩者共同作用。
- Decider 本身使用的模型與基礎設施成本為何。
這不代表案例無效。但企業進行技術決策時,不能只抄結論,還得拆解其適用邊界。
編輯觀察
這次案例的重要性,不在於 Amazon 找到一款更便宜的模型,而是它將 Agent 的「決定做什麼」與「把事情完成」拆成兩層。這與過去常見的模型降本方式不同:蒸餾、量化、快取及換用小模型,主要降低的是單次推理成本;這次討論的則是如何重新分配整條任務鏈的計算預算。
我的判斷是,模型路由會成為企業 Agent 的基礎元件,但 Decider 不一定長期綁定某個模型。它更像是一個可評測、可替換的決策介面。Amazon 後續也可能調整底層模型,持續保留決策層與生成層的邊界。
目前的不確定性也很明顯:原始資料未完整說明數百萬美元涵蓋的週期、任務量及遷移成本。如果沒有成功率、呼叫次數與重試率,單獨公布總節省金額容易造成誤導。真正可移植的做法不是照抄金額,而是先依任務結果核算總成本,再決定哪一層值得使用昂貴模型。