實戰

Amazon 以 Strands Decider 取代 Claude,真正節省成本不只靠降價

Amazon 將 Claude Sonnet 4.6 替換為 Strands Decider 後,據稱節省數百萬美元。核心在於將 Agent 的決策層與內容生成層拆開,藉此重新分配整條任務鏈的計算預算。

字級

Amazon 表示,以 Strands Decider 取代 Claude Sonnet 4.6 後,節省了數百萬美元。比模型單價更值得拆解的,是 Agent 的決策層已能獨立最佳化。

數百萬美元究竟省在哪裡

Amazon 表示,在實際業務中使用 Strands Decider 取代 Claude Sonnet 4.6,總共節省了數百萬美元。

公開摘要指出,這項改變不只涉及模型選擇,也涵蓋模型呼叫成本、Agent 決策框架,以及模型路由策略。

這些項目必須分開來看:

  • 模型呼叫降價:單次請求改用價格較低的模型,輸入與輸出 Token 費用同步下降。
  • 任務鏈降價:減少重複推理、無效工具呼叫、錯誤路由及重試。

數百萬美元是 Amazon 提出的業務成果,但原始案例未完整揭露計算週期、任務量、並行規模,也沒有列出替換前後的逐項費用。

因此,不能將所有節省都歸因於模型單價。

更精確地說,Strands Decider 改變了 Agent 的決策層。Claude Sonnet 4.6 原本負責的一部分工作,可能被轉移、快取,或交由更擅長處理結構化決策的模型執行。

Sonnet 負責生成,Decider 負責決策

Strands Decider 與 Claude Sonnet 4.6 的差異不在於能力排行榜上的高低,而是工作分工不同。

整體架構可以分成兩層:

  1. 生成層:理解需求、整理答案、產生程式碼或工具呼叫參數。
  2. 決策層:判斷下一步該做什麼、是否呼叫工具,以及選擇哪條執行路徑。

傳統做法是讓同一個通用模型包辦所有工作。

若一項任務經歷 8 輪推理、3 次工具呼叫及 2 次重試,昂貴模型可能反覆被喚起,上下文長度也會隨輪次增加。

總推理成本 ≈ Σ(每輪輸入 Token × 輸入單價
               + 每輪輸出 Token × 輸出單價
               + 工具呼叫與重試附加成本)

如果決策能由更輕量、輸出更短的模型完成,就不必讓 Sonnet 4.6 連續處理所有步驟。

這不是以弱模型取代強模型,而是將路由決策從內容生成中分離出來。Sonnet 4.6 繼續負責理解與生成,Decider 則處理結構化判斷。

這類架構更像編譯器:

  • 中間表示足夠穩定。
  • 不同階段可使用不同模型。
  • 決策結果可以記錄、評測及重播。
  • 高成本模型只在必要路徑上執行。

反直覺:昂貴模型未必該全程參與

企業選擇模型時,常見做法是按單輪請求估算 Token 費用:

estimated_cost = (
    input_tokens / 1_000_000 * input_price
    + output_tokens / 1_000_000 * output_price
)

但 Agent 的實際帳單不只有 Token。一項請求可能觸發多個步驟:

使用者請求
  → 意圖判斷
  → 工具選擇
  → 參數生成
  → 工具執行
  → 結果解析
  → 失敗重試
  → 最終回答

只要路由選錯,後續所有昂貴呼叫都可能白做。

便宜的模型若頻繁選錯工具,任務鏈就會被拉長;昂貴的模型若參與每個細小判斷,Token 也會快速累積。

最佳化單次生成,不一定能降低整條任務鏈的成本。

更實用的指標應包括:

  • 每個成功任務的模型總成本。
  • 每個成功任務的工具呼叫次數。
  • 無效步驟占比。
  • 重試率與恢復率。
  • 決策結果能否穩定重現。

與其把 Agent 成本視為「模型價格表」,更適合將它視為一份「計算預算」。

企業 Agent 得分清四筆帳

1. 模型費用

這包括輸入、輸出、快取命中、工具結果回填,以及重試產生的額外 Token。

如果 Decider 只輸出簡短的 JSON,理論上能減少昂貴模型處理結構化決策的次數。但是否真的下降,還得看路由命中率,不能只看 Decider 的單次價格。

2. 編排開銷

Agent 還需承擔狀態保存、上下文組裝、事件分派、工具協定轉換及逾時控制等成本。

這些成本未必出現在模型 Token 帳單中,卻會直接影響延遲與維護成本。

3. 重試機制

工具失敗、輸出不合規及逾時,都可能觸發重試。重試應由明確規則控制,而不是把同一段上下文再傳給昂貴模型碰運氣。

常見做法包括:

  • 對可恢復錯誤執行有限次數的重試。
  • 將錯誤類型對應至固定的恢復路徑。
  • 對決策輸出執行 schema 驗證。
  • 遇到重複失敗時停止任務,避免持續消耗 Token。

4. 評測體系

如果只看平均 Token 成本,企業很容易得出錯誤結論:模型越便宜,系統就越好。

更實用的評測應依任務結果分層,至少記錄以下數據:

task_success_rate
tool_call_count
invalid_tool_call_rate
retry_rate
end_to_end_cost
p50 / p95 latency

接著比較兩種架構:

  • 所有步驟都使用 Claude Sonnet 4.6。
  • 由 Sonnet 4.6 負責生成,Strands Decider 負責路由與決策。

只有在任務成功率相近、總成本更低的情況下,替換才具有意義。

案例有哪些適用邊界

原始文章發布後登上 Hacker News 首頁,討論主要聚焦三個問題。

基準測試能否重現

業務案例與公開 benchmark 並非同一回事。

Amazon 的工作負載包含內部資料、工具集、提示詞及路由規則。外界以模擬任務測試 Strands Decider,無法重現完整的成本結構。

要驗證這項結論,除了最終平均成本,還需要任務分布、成功率及重試資料。否則,「節省數百萬美元」更接近案例報告,並不能直接視為通用的模型選型結論。

能否移植到其他企業

架構理念可以移植,具體數字則不能直接套用。

如果任務高度固定、工具呼叫頻繁且可選路徑有限,單獨最佳化決策層通常能帶來價值。如果任務依賴開放式推理,決策與生成相互糾纏,拆層反而可能增加編排成本,甚至降低成功率。

數百萬美元的統計口徑是否透明

原始資料不足以確認:

  • 節省週期是幾個月還是一年。
  • 業務規模有多大。
  • 是否計入遷移、監控及評測投入。
  • 節省來自模型單價、呼叫次數,還是兩者共同作用。
  • Decider 本身使用的模型與基礎設施成本為何。

這不代表案例無效。但企業進行技術決策時,不能只抄結論,還得拆解其適用邊界。

編輯觀察

這次案例的重要性,不在於 Amazon 找到一款更便宜的模型,而是它將 Agent 的「決定做什麼」與「把事情完成」拆成兩層。這與過去常見的模型降本方式不同:蒸餾、量化、快取及換用小模型,主要降低的是單次推理成本;這次討論的則是如何重新分配整條任務鏈的計算預算。

我的判斷是,模型路由會成為企業 Agent 的基礎元件,但 Decider 不一定長期綁定某個模型。它更像是一個可評測、可替換的決策介面。Amazon 後續也可能調整底層模型,持續保留決策層與生成層的邊界。

目前的不確定性也很明顯:原始資料未完整說明數百萬美元涵蓋的週期、任務量及遷移成本。如果沒有成功率、呼叫次數與重試率,單獨公布總節省金額容易造成誤導。真正可移植的做法不是照抄金額,而是先依任務結果核算總成本,再決定哪一層值得使用昂貴模型。

來源

來源: https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider/