大型語言模型

LLM 降價 80% 後,AI Agent 的真實成本該怎麼算?

API 單價下降,不代表 Agent 的整體成本同步降低。本文提供一套成本稽核方法,協助團隊從成功任務總成本、呼叫迴圈、重試與人工介入等面向,重新評估模型與路由策略。

字級

OpenAI 與 Anthropic 部分 LLM API 價格下調最高 80%。對已上線的 AI Agent 而言,採購前應先重新計算每個成功任務的總成本,再決定是否更換模型。

LLM 降價 80% 後,Agent 成本該怎麼重算

OpenAI 與 Anthropic 在幾個月內將部分 LLM API 價格下調最高 80%。

這組價格變化來自 Hacker News 首頁新聞〈OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why?〉。HN 頁面顯示 12 points、7 則留言。

價格確實降了。但對已經上線的 AI Agent 來說,第一步可能不是立即換模型,而是重新攤開呼叫帳本。

單次 token 便宜了,不代表一個任務也變便宜。多輪呼叫、工具迴圈、失敗重試與長上下文,仍可能在後台吃掉預算。

價格下降,Agent 的帳本反而更複雜

Agent 的成本不能只看輸入與輸出的每百萬 token 價格。

一個典型流程可能是:

  1. 讀取使用者請求。
  2. 呼叫模型判斷下一步動作。
  3. 呼叫搜尋、資料庫或 MCP 工具。
  4. 將工具結果放回上下文。
  5. 模型繼續推理。
  6. 輸出不合法,觸發重試。
  7. 再次失敗,轉交人工或切換模型。

如果每一輪都帶著先前的工具結果,上下文會持續膨脹。模型呼叫次數也未必等同於使用者看到的一次請求。

假設一個任務平均呼叫模型 8 次,單次輸入 12,000 tokens、輸出 2,000 tokens,實際消耗約為 96,000 輸入 tokens 與 16,000 輸出 tokens。若失敗一次後整段重跑,成本增幅不會只有 12.5%。重跑時若仍附帶完整歷史,增幅甚至可能更高。

價格下降主要改善三類支出:

  • 多輪呼叫:同一任務可以承受更多推理輪次。
  • 長上下文處理:更長的程式碼庫、文件與歷史訊息可以放進上下文,帳本壓力下降。
  • 批次推理:離線摘要、分類與文件處理等任務,更容易改用低價 API。

但高頻重試、工具迴圈與上下文膨脹依然存在。即使單價下降 80%,一個原本只需呼叫 20 次的 Agent,仍可能因路由或提示詞設計不合理,把省下的預算全部耗掉。

因此,降價並不會讓成本模型失效,反而會讓問題暴露得更清楚。

80% 降價究竟從哪裡來

minaxir.com 的原文〈Cheap LLMs〉發布於 2026 年 10 月,文章網址為:

https://minimaxir.com/2026/10/cheap-llms/

原文討論的重點不是「推理成本天然下降」,而是多項因素共同作用:推理效率、硬體利用率、模型蒸餾、開放權重模型追趕,以及廠商以補貼壓低 API 報價。

這些因素需要分開來看。

推理效率是指模型產生相同答案所需的運算量下降。Sparse Transformer、更完善的 KV cache 管理、推測解碼與結構化輸出,都可能減少延遲或運算量。

硬體利用率則更接近雲端廠商的營運問題。GPU 叢集是否滿載、請求能否充分混合不同長度的 batch,以及推理服務能否連續運作,都會影響單位成本。

模型蒸餾讓小模型學習大模型輸出的分布,在分類、擷取、改寫等狹窄任務上,以較低價格換取可接受的準確率。它不一定適合複雜規劃,卻很適合處理 Agent 流程中的局部判斷。

開放權重模型追趕則持續擴大價格壓力。Qwen、DeepSeek、Llama、Mistral 等開放權重模型,正不斷壓縮商業 API 的溢價空間。即使最終採自架部署需要負擔 GPU、維運與工程成本,採購方仍多了一個真實選項:至少可以將部分流量移至自有叢集。

廠商補貼最容易被忽略。API 標價不等於長期有效價格。新模型首發、搶占開發者市場、簽訂企業合約與擴充容量的期間,都可能採取階段性優惠。

因此,看到「降價 80%」時,我會先追問四件事:

  • 降價的是哪款模型、哪一檔輸入或輸出價格?
  • 新價格是否附帶條件、限流或快取寫入限制?
  • 延遲、吞吐量與可用性是否同步變化?
  • 這個報價能否納入未來 12 個月的預算假設?

把促銷誤認為結構性降本,是成本模型最容易犯的錯。

開放權重模型追趕,閉源廠商先失去的是溢價

商業 API 的價值不只在模型能力,還包括自動擴充、全球可用性、安全合規、工具呼叫相容性,以及免維運。

但當開放權重模型與閉源 API 的價差縮小,企業會重新評估供應商鎖定。過去,更換模型意味著修改提示詞、重做回歸測試,甚至調整工具協定;現在價格每降一次,進行這類遷移的心理門檻也會降低一點。

在實際部署中,模型路由會比「選哪家」更重要。

例如,由 Router 先以低成本模型處理意圖分類。簡單的擷取任務交給蒸餾模型;需要修改程式碼的步驟,改用能力更強的模型;工具回傳大量日誌時,先行壓縮,再決定是否保留全文。失敗後可以切換模型,但必須限制重試次數。

這也是 LangGraph 等具狀態工作流程框架更有價值之處。流程節點、狀態持久化、失敗回退與人工接管,都需要明確設計。若只換模型,卻未改變狀態機、工具參數與錯誤分支,帳面降價不一定能轉化為任務降本。

開放模型也不必取代所有閉源 API。更務實的目標,是將 30% 到 60% 穩定且可標準化的流量移走,把高難度任務保留給閉源模型,同時維持一條快速回滾通道。

Agent 部署該改什麼

我會先重跑 token 成本模型,而不是先改程式碼。

首先,按照任務成功率、平均呼叫次數、平均上下文長度與人工介入率拆分任務。至少記錄五項指標:

  • 每個成功任務的模型費用。
  • 每個成功任務的總呼叫次數。
  • 工具呼叫成功率。
  • P50 與 P95 延遲。
  • 人工接管率。

接著以真實 trace 重新計算,而不是使用理論 token 估算。

下面是一段可執行的 Python 腳本。它會讀取 Agent trace、計算每個成功任務的模型費用,並輸出成本最高的 10 筆任務。price_in 與 price_out 的單位為美元/百萬 tokens:

import json
from pathlib import Path

PRICE_IN = 0.25
PRICE_OUT = 1.25

records = []
for path in Path("traces").glob("*.json"):
    with path.open(encoding="utf-8") as f:
        trace = json.load(f)

    if not trace.get("success"):
        continue

    input_tokens = 0
    output_tokens = 0
    calls = 0

    for event in trace.get("events", []):
        if event.get("type") != "model_call":
            continue
        usage = event.get("usage", {})
        input_tokens += int(usage.get("input_tokens", 0))
        output_tokens += int(usage.get("output_tokens", 0))
        calls += 1

    cost = (
        input_tokens * PRICE_IN / 1_000_000
        + output_tokens * PRICE_OUT / 1_000_000
    )
    records.append({
        "task_id": trace.get("task_id", path.stem),
        "calls": calls,
        "input_tokens": input_tokens,
        "output_tokens": output_tokens,
        "cost_usd": round(cost, 6),
    })

for record in sorted(
    records, key=lambda item: item["cost_usd"], reverse=True
)[:10]:
    print(json.dumps(record, ensure_ascii=False))

執行完後,再進行四項改造。

第一,依任務難度動態路由。不要按照品牌固定路由,而應依任務特徵與評測分數分流。

第二,加入快取。將穩定的系統提示、檢索文件與重複工具結果快取。語意快取需設定相似度門檻,並記錄命中率,避免錯誤重用。

第三,設定失敗重試上限。重試 2 次通常比無限重試更容易控制成本。指數退避則能減少瞬時壅塞造成的重複請求。

第四,準備人工接管。關鍵寫入、付款、刪除與發布操作,不應讓 Agent 無限嘗試。觸發條件可以是連續兩次工具參數驗證失敗,或單一任務費用超過預算上限。

最後,為供應商切換保留介面層。模型名稱、參數、超時與重試策略應放在設定中,核心業務邏輯則不要硬編碼特定 SDK。否則每次價格變動,都得跟著修改一輪工程程式碼。

真正的競爭指標,可能不是每百萬 token

最便宜的模型未必適合關鍵 Agent 流程。

假設模型 A 的單次呼叫便宜 80%,但工具呼叫成功率低了 5 個百分點,任務平均增加 0.4 次重試;模型 B 雖然較貴,卻能一次完成更多任務。最終每個成功任務的成本,可能反而更高。

Agent 應該比較的是「總完成成本」:

每個成功任務成本 =
模型呼叫費用
+ 工具費用
+ 重試費用
+ 人工處理成本
+ 失敗造成的業務損失

延遲同樣重要。互動式 Agent 的 P95 若從 2 秒增加到 8 秒,使用者可能直接放棄。批次任務則更重視吞吐量與單位時間成本。

上下文視窗也不是越大越好。視窗從 128K 增加到 1M,帳單未必會同步下降。許多模型對長輸入會採用價格較高的費率檔位。把無關的完整歷史全部帶進上下文,既浪費 token,也增加干擾。

我會為每次模型升級保留一組小型回歸測試集,涵蓋:

  • 參數生成。
  • 工具選擇。
  • 多輪狀態維持。
  • 逾時與錯誤復原。
  • 提示注入與越權寫入。

同時記錄價格、延遲、成功率與任務完成成本。只看每百萬 token,無法決定 Agent 應該更換哪個模型。

編輯觀察

這波降價更像是壓低 Agent 的試錯成本,而非單純讓模型變便宜。多輪推理、重試與長上下文原本限制了 Agent 的適用範圍;單價下降後,企業會更願意測試更複雜的流程,也會放大無效迴圈。短期內應先稽核 trace、快取與回滾方案,再決定是否進行模型遷移。

與過去不同的是,這次降價不只發生在 OpenAI 與 Anthropic 之間,開放權重模型也在持續壓低溢價,價格波動已進入路由架構。我的判斷是,未來占優勢的,不會是報價最低的模型,而是能依任務動態選型,並將失敗率、人工接管與供應商切換成本算清楚的系統。不過,補貼期限、合約價格與實際吞吐量仍存在不確定性,不能直接以一次促銷價重寫整年度預算。

來源

https://minimaxir.com/2026/10/cheap-llms/

來源: https://minimaxir.com/2026/10/cheap-llms/