觀點

AI Agent 成本優化:5 種方法擺脫算力堆疊

從任務級指標、模型路由、快取到量化與評測,拆解 AI Agent 的完整成本,協助團隊用更少算力完成更多有效任務。

字級

Dwarkesh Patel 以「數學雪崩」比喻 AI 研發瓶頸。真正該計算的,不是模型有多大,而是每次訓練、推理與 Agent 任務能換來多少有效產出。

AI Agent 成本優化:5 種方法擺脫算力堆疊

一場針對 AI 開發的「數學雪崩」

Dwarkesh Patel 的文章 “The avalanche that hit math is coming for AI development” 登上 Hacker News 首頁時,頁面有 44 points、47 則留言。

這不是一次模型發布,也不是某個 API 的小版本更新。它討論的是一個趨勢:AI 能力擴張需要越來越多的運算資源,但運算投入與能力產出之間的效率正在下降。

「數學雪崩」是一個類比。數學研究也曾面臨類似壓力:投入持續增加,研究人員卻越來越難找到高價值的新成果。論文數量可以成長,但真正推進領域邊界的發現,未必以相同速度增加。

Patel 將這套邏輯套用到 AI 開發。持續訓練更大的模型,當然可能帶來進展;但一旦新增算力帶來的邊際效益持續下滑,研發就會遇到結構性問題:

模型還值得繼續堆大嗎?

這裡沒有可直接列入預算表的訓練成本、GPU 數量或性能增幅。素材未提供這些數字,因此不予補充。關注焦點更偏向後段:如何判斷 AI 產品是否仍在有效運用運算資源。

真正的瓶頸不是 GPU 數量

「算力不足」是最容易解釋、也最容易被誤判的問題。

公司發現模型能力不足時,第一反應通常是增加 GPU。若仍不夠,就換成更大的模型、增加訓練資料,或延長訓練時間。這套做法在能力成長接近線性時有效;一旦進入邊際效益下降階段,照舊執行只會讓帳單與工程複雜度同步上升。

LLM 的運算帳本至少可分成三層。

第一層是預訓練。模型從原始語料中學習語言與世界模式,需要大量 token、GPU 時間及資料處理。這一階段常出現大量「無效運算」:重複、品質不佳、來源不明,或已被充分涵蓋的資料。

第二層是推理。每次請求都要讀取上下文並產生 token。即使模型能力不變,呼叫量、上下文長度與輸出長度仍會推高成本。

第三層是 AI Agent 部署。Agent 不只呼叫一次模型;它會拆解任務、讀取檔案、呼叫工具、檢查結果,再決定下一步。任務越複雜,模型呼叫輪次越多,而每輪都可能重新攜帶系統提示、歷史訊息與工具結果。

因此,推理成本不能只看單次 token 價格。真正要看的,是一項任務結束前用了多少次呼叫、傳遞多少上下文、工具呼叫是否重複,以及失敗後是否從頭重跑。

將模型換成更昂貴的版本,再期待 Agent 自動變得聰明,帳面上可能只是把低效率放得更大。

推理成本決定產品上限

假設一個 AI Agent 每天處理 10,000 項任務。每項任務先進行一次分類,再讀取 5 份文件,接著呼叫 4 次工具,最後產生答案。單項任務不是一次 API 請求,而是一串請求。

若每輪都將相同背景重新塞進上下文,產品毛利會被重複 token 吃掉。模型榜單領先幾分,也不代表單位任務成本較低。

可以透過下列指標計算成本:

  • 單任務呼叫次數:包含規劃、工具呼叫、重試與結果驗證。
  • 輸入 token 構成:系統提示、動態上下文與工具結果各占多少。
  • 快取命中率:穩定提示與檢索內容能否重複使用。
  • 有效完成率:任務真正完成的比例,而非答案看起來是否合理。
  • 失敗復原成本:發生錯誤後是局部重試,還是整條鏈重新執行。

這意味著,模型選型應從「哪個分數最高」改為「哪個模型能以最低總成本完成任務」。便宜模型可用於分類、抽取與參數驗證;強大模型則留給需要多步推理的環節。這通常比所有請求都走旗艦模型更容易控制成本。

Claude、GPT、Gemini、Qwen 或開源模型之間,也可使用同一套任務集進行比較。不要只測幾個問答範例,至少應記錄成功率、延遲、token 消耗與人工修正時間。

對 Agent 而言,真正該優化的並非每次呼叫有多便宜,而是完成一項任務需要多少運算。

開發路線要從訓練轉向工程

這不代表預訓練不重要。預訓練仍決定模型的基礎能力,但對多數 AI 應用團隊而言,工程面通常有更多可調整的空間。

1. 先篩選資料,再談擴大規模

訓練集中的許多樣本價值偏低。低品質、重複或與目標任務無關的資料,不只消耗算力,還可能稀釋訓練訊號。

更務實的做法是建立資料分層:高品質核心集、任務相關集,以及少量長尾集。訓練前先檢視樣本分布與去重結果。素材未提供具體成本比例,因此不能宣稱資料篩選能省下多少;但減少無效資料,通常比訓練結束後才討論推理問題更早見效。

2. 用模型路由取代一視同仁

路由不必複雜。可以先依任務難度、是否需要視覺能力、上下文長度與延遲需求分類:

from dataclasses import dataclass

@dataclass
class Route:
    name: str
    max_tokens: int
    supports_tools: bool

ROUTES = {
    "extract": Route("extract", max_tokens=800, supports_tools=False),
    "reason": Route("reason", max_tokens=2400, supports_tools=True),
}

def select_route(task: dict) -> Route:
    if task.get("type") == "extract":
        return ROUTES["extract"]
    return ROUTES["reason"]

這段程式碼只負責路由,正式環境還需要逾時、重試與降級策略。但方向很清楚:先以規則與評測劃分任務,再決定要呼叫哪個模型。

3. 快取穩定內容

系統提示、few-shot 範例與反覆出現的文件,都可列為快取候選。動態部分與穩定部分最好分開設計,避免使用者一更換輸入,整段前綴就全部失效。

長上下文尤其如此。每輪重新傳遞 20 頁文件,通常比先檢索出相關片段再送出更昂貴。RAG 的價值也不只是「讓模型知道更多」,還在於控制每次請求實際攜帶的資訊量。

4. 量化不能取代效能測試

量化可以降低記憶體占用並提高吞吐量,但是否值得取決於任務品質的損失是否可接受。

做法很直接:準備一組真實任務,分別以原始權重與量化權重執行,比較成功率、延遲與記憶體用量。不能只測困惑度,也不能因為 benchmark 沒有明顯下降就直接上線。

5. 建立任務級評測

模型評測與 Agent 評測並不相同。

模型評測回答「這道題答得如何」;Agent 評測回答「這個 Agent 有沒有在成本與時間限制內完成任務」。後者至少要觀察:

  • 最終任務成功率;
  • 每完成一項任務的平均呼叫次數;
  • 輸入與輸出 token 總量;
  • 工具呼叫失敗率;
  • 逾時與重試次數;
  • 人工接管比例。

這些數字應依任務類型拆分,否則,一個大量使用簡單抽取、僅少量使用複雜推理的系統,問題可能被平均值掩蓋。

更關鍵的是,將評測接入發布流程。每次修改提示詞、替換模型或調整工具,都應執行同一組任務。否則,所謂的「優化」很容易只是在另一組範例上看起來更好。

編輯觀察

「數學雪崩」的意義,不是預測 AI 將停止發展,而是提醒團隊重新計算投入產出。模型規模仍會增加,但應用層的競爭會愈來愈集中於任務完成效率:取得相同結果,需要使用多少 token、多少輪工具呼叫,以及多少人工修正。

我的判斷是,下一輪 AI Agent 產品的核心指標,會逐漸接近「每個成功任務的總成本」,而不只是單次呼叫價格。這將推動模型路由、快取、量化、評測與失敗復原成為基礎設施的一環,不再等到上線前才匆忙補強。

這次與過去不同的地方在於,競爭單位正從模型能力轉向完整工作流。榜單分數依然重要,卻無法解釋 Agent 為何反覆繞路。訓練或推理演算法是否會出現明顯躍升,進而持續降低單次任務成本,目前也無法確定;即便如此,先定義任務級指標,再選擇運算方案,仍是較穩妥的做法。

來源: https://www.dwarkesh.com/p/rsi