工具

ThinkingCap 實測:Gemma 推理量降 69%,Agent 成本真能跟著降?

ThinkingCap 在 Gemma-4-26B-A4B 上減少 39%–69% 推理量,同時維持相同準確率,但 benchmark 成果不等於生產環境帳單同步下降。本文從 token、調用輪次、上下文重放與逾時風險拆解 Agent 的實際成本。

字級

ThinkingCap 讓 Gemma-4-26B-A4B 減少 39%–69% 的思考量,準確率卻維持不變。但 benchmark 的降幅,並不代表生產環境的帳單會等比例縮減。本文將拆解推理壓縮在 Agent 場景中的實際成本。

推理壓縮的概念很直接:讓模型少生成一些思考 token,同時不能犧牲準確率。

ThinkingCap 公布的結果顯示,在 Gemma-4-26B-A4B 上,模型的思考量減少 39%–69%,準確率維持不變。這項測試沒有更換模型,也沒有要求模型用較短的回答敷衍使用者;改變發生在推理階段。

對一般聊天產品而言,這可能只是節省一點生成時間;對 AI Agent 而言,意義則更為重大。Agent 通常會經歷多輪決策、工具呼叫與結果回填。每一輪多出的思考 token,都可能隨著呼叫次數放大,再反映到延遲與帳單上。

不過,69% 是實驗指標,不能直接視為生產環境可套用的折扣。

先看實驗結果:並未更換模型

實驗模型為 Gemma-4-26B-A4B,總參數量是 26B,啟用參數量則為 A4B。A4B 可以理解為每次推理實際啟用約 4B 參數,而非將全部 26B 參數展開計算。

ThinkingCap 的核心結果是:思考量下降 39%–69%,準確率不變。

這三項數字必須放在一起解讀。

若準確率下降 10%,省下 40% 推理量通常不算成功。Agent 的任務分布並不平均,少數錯誤決策就可能引發錯誤的工具呼叫、重複操作,甚至讓整個流程無法完成。ThinkingCap 嘗試證明的是另一條路徑:先判斷當前問題需要多少推理預算,再動態分配。

這不是將 Gemma-4-26B-A4B 換成更小的模型。模型、任務與準確率基準維持不變,被壓縮的是中間的思考過程。

原始實驗發布於 bottlecapai.com:Gemma-4-26B-A4B with 39-69% less thinking at same accuracy。

相關文章發布於 bottleyai.com。Hacker News 頁面目前顯示 69 分與 8 則留言。

討論規模不算大,因此 39%–69% 更適合視為有待重現的技術訊號,而非已經獲得廣泛驗證的產業結論。尤其需要持續釐清:它採用了什麼推理預算控制器、壓縮的是 reasoning token 還是整段思考文字,以及準確率是依據哪些任務統計。

為什麼「少想」可能比「想少」更值錢

「想少」通常有兩種做法。

第一種是減少思考輪數,例如讓 Agent 先給出答案,再決定是否繼續。這種方式較便宜,但如果第一步判斷錯誤,後續整條鏈都可能偏離。

第二種是縮短每次思考。推理會更精簡,但複雜任務可能因資訊不足而出錯。

動態推理試圖避開非黑即白的開關:簡單問題少想,複雜問題多想。

這對 Agent 尤其重要。典型流程可能如下:

使用者請求
  → 讀取上下文
  → 選擇工具
  → 呼叫 API
  → 解析回傳結果
  → 判斷是否完成
  → 必要時重試或修正

單輪減少 10% 推理量,套用到一條包含 6 輪的工具鏈上,結果不會簡單等於 10%。它可能影響首 token 延遲、每次工具呼叫前的決策時間,以及整條鏈的逾時機率。

更麻煩的是,失敗通常不是免費的。模型做出錯誤判斷後,Agent 可能多走兩步:重新解讀工具參數,再次呼叫,然後等待結果。生產環境帳單中最昂貴的往往是這類額外回合,而非正常路徑。

因此,推理壓縮的真正效益,可能是減少無意義的思考與繞路,而不只是降低 token 數量。

但這仍需要單獨測量。平均思考量下降,並不必然代表平均完成時間下降,也不能直接推論錯誤復原次數會減少。

Agent 場景的成本怎麼算

建議至少拆成四項。

1. Token 成本

Token 是最容易計算的一項,但仍要區分輸入、輸出與快取命中三類。

推理量下降主要影響模型生成的思考 token。若工具回傳的是長文件,Agent 還會把結果重新放回上下文。輸入 token 可能不會下降,甚至因多走一輪而增加。

生產環境的帳單不能只寫:

原成本 = 總 token × 單價

至少應寫成:

單任務成本 =
  各輪輸入 token × 輸入單價
  + 各輪輸出 token(含思考)× 輸出單價
  + 工具呼叫費用
  + 重試與沙箱費用

2. 呼叫輪次

輪次決定任務是否真的變便宜。

假設 ThinkingCap 少生成 50% 思考 token,但某個基準任務平均多呼叫一次工具,後者可能抵銷前者的節省,甚至增加 API 限流、重試與狀態同步的開銷。

因此,評測不能停在「每個 response 的 token 變少」。真正需要統計的是:從任務開始到驗收通過的完整軌跡。

3. 上下文重放

不少 Agent 框架會重新傳送先前輪次、工具輸出與系統提示。推理更短可能讓上下文增長得慢一些,但只要多走一輪,重放成本就會再次出現。

若系統使用 prompt cache,帳單也會有所不同。快取命中的成本較低,但不代表沒有等待;快取失效後重新計算,也未必比使用更短上下文划算。

4. 逾時與可靠性

延遲通常更接近使用者體驗。工具鏈中的思考時間會串行累積,即使最終輸出提早完成,整體執行仍可能超過呼叫端設定的逾時時間。

一旦逾時,Agent 可能觸發重試,而逾時後的重試成本往往高於一次正常執行。更關鍵的是,逾時是否只影響平均值,以及長尾任務是否變得更不穩定。

評測應同時關注 p50、p95、p99 延遲,而不只是平均值;也要記錄完成率、重試率與工具呼叫次數。

更可信的生產驗證方式,是固定任務集,再比較完整軌跡:

指標ThinkingCap基線
準確率不低於基線基線
總輸入 token實測實測
總輸出與思考 token實測實測
平均工具呼叫數實測實測
p50 / p95 完成時間實測實測
重試率與逾時率實測實測
單個成功任務總成本實測實測

最後一列比「每個 token 的價格」更重要。Agent 應以成功完成的任務來計算成本。

這套方法的邊界:準確率之外

平均準確率不變,只能表示實驗任務的整體結果沒有明顯退化,不能取代依任務、難度與風險等級區分的評估。

複雜推理

數學證明、程式修復與多約束條件規劃,通常需要更長的推理鏈。若預算控制器過度壓縮,可能把「暫時沒想通」變成「自信地答錯」。

簡單任務與困難任務應分別比較,不能用簡單問答的 token 降幅,掩蓋複雜任務成功率下降的事實。

長任務

短任務的思考量下降 69%,可能很有價值;但放到持續十幾分鐘、包含數十輪工具呼叫的 Agent 上,每一項局部節省都相對有限。真正決定成本的是任務軌跡能否縮短。

失敗復原

最有價值的 Agent 並非從不失敗,而是失敗後仍能復原。

若 ThinkingCap 壓縮了模型對錯誤日誌的反思過程,Agent 可能更快重複相同錯誤。測試時不能只統計最終成功率,還要觀察:

  • 同一錯誤是否重複出現
  • 重試是否收斂
  • 是否會選擇替代工具
  • 是否會主動向使用者確認關鍵歧義

工具呼叫安全

少思考不一定是好事。涉及刪除資料、付款、傳送訊息或修改生產設定時,多一次驗證可能比多幾個 token 更有價值。

可以將工具分為低風險與高風險。低風險的檢索、查詢類任務可積極壓縮;高風險的寫入、支付與刪除類任務則應保留更長思考,或增加獨立驗證器,不應以同一套預算涵蓋所有動作。

此外,壓縮後的 reasoning token 變少,也可能影響模型產生完整中間軌跡的能力。記錄的可解釋性與事後稽核都需要另行檢查,不能因為最終答案未變,就忽略過程品質。

編輯觀點

ThinkingCap 值得關注,不只因為 69% 這個數字,而是因為它將問題從「模型能否更聰明」轉向「系統能否依任務難度分配推理資源」。這更像一套線上調度機制:簡單請求快速返回,複雜請求追加預算,失敗風險較高的動作則進入驗證分支。

這與過去的量化模型不同。量化通常是在部署前換取更低的記憶體與運算成本,收益穩定,但能力邊界也大致固定。縮短上下文則主要降低輸入成本。動態思考預算處理的是執行期的決策,理論上更靈活,也更難評測。

推理壓縮很可能逐漸成為 Agent 基礎設施的一部分,但不會只靠單一通用百分比勝出。真正有價值的控制器,應依工具風險、任務剩餘時間與失敗機率動態調整,而不是只追求平均 token 降幅。

目前仍不確定 ThinkingCap 的效益能否跨模型、跨任務維持。69 分與 8 則留言,也顯示它仍處於早期驗證階段。如果生產帳單沒有同步下降,或者 p95 延遲與復原能力變差,那麼「少思考」就只是少寫了一些 token,還不能算真正更便宜的 Agent。

來源

來源: https://bottleyai.com/post/thinkingcap-gemma-4-26b/