OpenAI 與 Anthropic 部分 LLM API 價格下調最高 80%。對已上線的 AI Agent 而言,採購前應先重新計算每個成功任務的總成本,再決定是否更換模型。
LLM 降價 80% 後,Agent 成本該怎麼重算
OpenAI 與 Anthropic 在幾個月內將部分 LLM API 價格下調最高 80%。
這組價格變化來自 Hacker News 首頁新聞〈OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why?〉。HN 頁面顯示 12 points、7 則留言。
價格確實降了。但對已經上線的 AI Agent 來說,第一步可能不是立即換模型,而是重新攤開呼叫帳本。
單次 token 便宜了,不代表一個任務也變便宜。多輪呼叫、工具迴圈、失敗重試與長上下文,仍可能在後台吃掉預算。
價格下降,Agent 的帳本反而更複雜
Agent 的成本不能只看輸入與輸出的每百萬 token 價格。
一個典型流程可能是:
- 讀取使用者請求。
- 呼叫模型判斷下一步動作。
- 呼叫搜尋、資料庫或 MCP 工具。
- 將工具結果放回上下文。
- 模型繼續推理。
- 輸出不合法,觸發重試。
- 再次失敗,轉交人工或切換模型。
如果每一輪都帶著先前的工具結果,上下文會持續膨脹。模型呼叫次數也未必等同於使用者看到的一次請求。
假設一個任務平均呼叫模型 8 次,單次輸入 12,000 tokens、輸出 2,000 tokens,實際消耗約為 96,000 輸入 tokens 與 16,000 輸出 tokens。若失敗一次後整段重跑,成本增幅不會只有 12.5%。重跑時若仍附帶完整歷史,增幅甚至可能更高。
價格下降主要改善三類支出:
- 多輪呼叫:同一任務可以承受更多推理輪次。
- 長上下文處理:更長的程式碼庫、文件與歷史訊息可以放進上下文,帳本壓力下降。
- 批次推理:離線摘要、分類與文件處理等任務,更容易改用低價 API。
但高頻重試、工具迴圈與上下文膨脹依然存在。即使單價下降 80%,一個原本只需呼叫 20 次的 Agent,仍可能因路由或提示詞設計不合理,把省下的預算全部耗掉。
因此,降價並不會讓成本模型失效,反而會讓問題暴露得更清楚。
80% 降價究竟從哪裡來
minaxir.com 的原文〈Cheap LLMs〉發布於 2026 年 10 月,文章網址為:
https://minimaxir.com/2026/10/cheap-llms/
原文討論的重點不是「推理成本天然下降」,而是多項因素共同作用:推理效率、硬體利用率、模型蒸餾、開放權重模型追趕,以及廠商以補貼壓低 API 報價。
這些因素需要分開來看。
推理效率是指模型產生相同答案所需的運算量下降。Sparse Transformer、更完善的 KV cache 管理、推測解碼與結構化輸出,都可能減少延遲或運算量。
硬體利用率則更接近雲端廠商的營運問題。GPU 叢集是否滿載、請求能否充分混合不同長度的 batch,以及推理服務能否連續運作,都會影響單位成本。
模型蒸餾讓小模型學習大模型輸出的分布,在分類、擷取、改寫等狹窄任務上,以較低價格換取可接受的準確率。它不一定適合複雜規劃,卻很適合處理 Agent 流程中的局部判斷。
開放權重模型追趕則持續擴大價格壓力。Qwen、DeepSeek、Llama、Mistral 等開放權重模型,正不斷壓縮商業 API 的溢價空間。即使最終採自架部署需要負擔 GPU、維運與工程成本,採購方仍多了一個真實選項:至少可以將部分流量移至自有叢集。
廠商補貼最容易被忽略。API 標價不等於長期有效價格。新模型首發、搶占開發者市場、簽訂企業合約與擴充容量的期間,都可能採取階段性優惠。
因此,看到「降價 80%」時,我會先追問四件事:
- 降價的是哪款模型、哪一檔輸入或輸出價格?
- 新價格是否附帶條件、限流或快取寫入限制?
- 延遲、吞吐量與可用性是否同步變化?
- 這個報價能否納入未來 12 個月的預算假設?
把促銷誤認為結構性降本,是成本模型最容易犯的錯。
開放權重模型追趕,閉源廠商先失去的是溢價
商業 API 的價值不只在模型能力,還包括自動擴充、全球可用性、安全合規、工具呼叫相容性,以及免維運。
但當開放權重模型與閉源 API 的價差縮小,企業會重新評估供應商鎖定。過去,更換模型意味著修改提示詞、重做回歸測試,甚至調整工具協定;現在價格每降一次,進行這類遷移的心理門檻也會降低一點。
在實際部署中,模型路由會比「選哪家」更重要。
例如,由 Router 先以低成本模型處理意圖分類。簡單的擷取任務交給蒸餾模型;需要修改程式碼的步驟,改用能力更強的模型;工具回傳大量日誌時,先行壓縮,再決定是否保留全文。失敗後可以切換模型,但必須限制重試次數。
這也是 LangGraph 等具狀態工作流程框架更有價值之處。流程節點、狀態持久化、失敗回退與人工接管,都需要明確設計。若只換模型,卻未改變狀態機、工具參數與錯誤分支,帳面降價不一定能轉化為任務降本。
開放模型也不必取代所有閉源 API。更務實的目標,是將 30% 到 60% 穩定且可標準化的流量移走,把高難度任務保留給閉源模型,同時維持一條快速回滾通道。
Agent 部署該改什麼
我會先重跑 token 成本模型,而不是先改程式碼。
首先,按照任務成功率、平均呼叫次數、平均上下文長度與人工介入率拆分任務。至少記錄五項指標:
- 每個成功任務的模型費用。
- 每個成功任務的總呼叫次數。
- 工具呼叫成功率。
- P50 與 P95 延遲。
- 人工接管率。
接著以真實 trace 重新計算,而不是使用理論 token 估算。
下面是一段可執行的 Python 腳本。它會讀取 Agent trace、計算每個成功任務的模型費用,並輸出成本最高的 10 筆任務。price_in 與 price_out 的單位為美元/百萬 tokens:
import json
from pathlib import Path
PRICE_IN = 0.25
PRICE_OUT = 1.25
records = []
for path in Path("traces").glob("*.json"):
with path.open(encoding="utf-8") as f:
trace = json.load(f)
if not trace.get("success"):
continue
input_tokens = 0
output_tokens = 0
calls = 0
for event in trace.get("events", []):
if event.get("type") != "model_call":
continue
usage = event.get("usage", {})
input_tokens += int(usage.get("input_tokens", 0))
output_tokens += int(usage.get("output_tokens", 0))
calls += 1
cost = (
input_tokens * PRICE_IN / 1_000_000
+ output_tokens * PRICE_OUT / 1_000_000
)
records.append({
"task_id": trace.get("task_id", path.stem),
"calls": calls,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"cost_usd": round(cost, 6),
})
for record in sorted(
records, key=lambda item: item["cost_usd"], reverse=True
)[:10]:
print(json.dumps(record, ensure_ascii=False))
執行完後,再進行四項改造。
第一,依任務難度動態路由。不要按照品牌固定路由,而應依任務特徵與評測分數分流。
第二,加入快取。將穩定的系統提示、檢索文件與重複工具結果快取。語意快取需設定相似度門檻,並記錄命中率,避免錯誤重用。
第三,設定失敗重試上限。重試 2 次通常比無限重試更容易控制成本。指數退避則能減少瞬時壅塞造成的重複請求。
第四,準備人工接管。關鍵寫入、付款、刪除與發布操作,不應讓 Agent 無限嘗試。觸發條件可以是連續兩次工具參數驗證失敗,或單一任務費用超過預算上限。
最後,為供應商切換保留介面層。模型名稱、參數、超時與重試策略應放在設定中,核心業務邏輯則不要硬編碼特定 SDK。否則每次價格變動,都得跟著修改一輪工程程式碼。
真正的競爭指標,可能不是每百萬 token
最便宜的模型未必適合關鍵 Agent 流程。
假設模型 A 的單次呼叫便宜 80%,但工具呼叫成功率低了 5 個百分點,任務平均增加 0.4 次重試;模型 B 雖然較貴,卻能一次完成更多任務。最終每個成功任務的成本,可能反而更高。
Agent 應該比較的是「總完成成本」:
每個成功任務成本 =
模型呼叫費用
+ 工具費用
+ 重試費用
+ 人工處理成本
+ 失敗造成的業務損失
延遲同樣重要。互動式 Agent 的 P95 若從 2 秒增加到 8 秒,使用者可能直接放棄。批次任務則更重視吞吐量與單位時間成本。
上下文視窗也不是越大越好。視窗從 128K 增加到 1M,帳單未必會同步下降。許多模型對長輸入會採用價格較高的費率檔位。把無關的完整歷史全部帶進上下文,既浪費 token,也增加干擾。
我會為每次模型升級保留一組小型回歸測試集,涵蓋:
- 參數生成。
- 工具選擇。
- 多輪狀態維持。
- 逾時與錯誤復原。
- 提示注入與越權寫入。
同時記錄價格、延遲、成功率與任務完成成本。只看每百萬 token,無法決定 Agent 應該更換哪個模型。
編輯觀察
這波降價更像是壓低 Agent 的試錯成本,而非單純讓模型變便宜。多輪推理、重試與長上下文原本限制了 Agent 的適用範圍;單價下降後,企業會更願意測試更複雜的流程,也會放大無效迴圈。短期內應先稽核 trace、快取與回滾方案,再決定是否進行模型遷移。
與過去不同的是,這次降價不只發生在 OpenAI 與 Anthropic 之間,開放權重模型也在持續壓低溢價,價格波動已進入路由架構。我的判斷是,未來占優勢的,不會是報價最低的模型,而是能依任務動態選型,並將失敗率、人工接管與供應商切換成本算清楚的系統。不過,補貼期限、合約價格與實際吞吐量仍存在不確定性,不能直接以一次促銷價重寫整年度預算。