實戰

RTK 號稱省 80% token?Quesma 實測只有 2%

廠商宣稱可省 80% token,獨立測試 Quesma 卻只跑出 2%。這場 HN 熱議反映出開發者對官方數字的高度懷疑。

字級

RTK 是什麼,為何引發爭議

RTK 全名 Redux Toolkit,是 React 生態系官方推薦的狀態管理函式庫。近來被部分 AI 編碼工具引入 prompt 前處理流程——將程式碼、狀態與上下文經過 RTK 風格的「扁平化 + 序列化」壓縮後,再丟給 LLM。

邏輯聽起來合理:token 變少,API 費用就跟著降。

廠商的賣點通常是「節省 60%-80% token」,再搭配一支看起來很漂亮的 demo 影片。但問題在於:這種 demo 用的都是精心設計過的 prompt,並非真實工作流程。

HN 上該則貼文討論熱度很高,開發者普遍不信任廠商自行公布的成效數據。Quesma 的測試正好戳中這個痛點。

Quesma 的測試方法

Quesma 並非空口說白話,他們公開了完整的測試方法:

  • 程式碼任務:挑選 5 個真實編碼場景,包含重構、bug 定位、新功能開發
  • Baseline:直接將原始程式碼餵給 Claude(使用 Claude Sonnet 4)
  • 實驗組:經過 RTK 壓縮後再餵給同一個模型
  • 衡量指標:端對端完成任務的總 token 消耗,包含 system prompt + user message + tool calls + assistant response

關鍵細節:他們沒有使用廠商 demo 中那種「超長上下文 + 極簡問題」的 prompt,而是模擬開發者日常的編碼請求——會包含錯誤訊息、反覆迭代過程、中間回饋。

結果:

  • 廠商宣稱節省 60-80%
  • Quesma 實測節省約 2%

差距不是一倍兩倍,而是整整一個數量級。

差距為何如此懸殊

我看完他們的測試方法論後,歸納出幾個可能原因:

1. 測試場景不同
廠商 demo 通常是「一次性」任務——把 10 萬行程式碼壓縮後問一個問題。但真實工作流程是多輪的——你問一句,模型答一句,再問一句,再答。RTK 的壓縮優勢在多輪對話中會被稀釋,因為每一輪都有新的程式碼片段加入。

2. System prompt 沒算進去
許多廠商只統計 user message 裡的 token 節省,不算 system prompt 與工具定義。但 Claude 的 system prompt 動輒數千 token。若 baseline 與實驗組都用同一份 system prompt,那它在總開銷中的占比會拉低「節省比例」。

3. Caching 沒納入考量
Claude API 有 prompt caching。若壓縮後的內容無法命中 cache,反而可能增加成本——因為 cache 是基於前綴匹配的,壓縮演算法改變了文字結構,命中率會下降。Quesma 的測試中應該沒有單獨跑 caching 情境,但這是企業落地時必須考量的點。

4. 壓縮本身的開銷
RTK 在壓縮時需要額外的計算步驟。在 client 端跑要花時間;在 server 端跑要花錢。這部分成本往往被忽略。

5. 「Token 節省」≠「省錢」
即使真的省了 30% input token,output token(模型回覆)可能沒變,甚至因為壓縮後資訊遺失而變長——模型要補充說明。Quesma 的測試應該是算總帳,但許多廠商只算 input。

面對廠商自報數據的態度

這種事並不新鮮。過去兩年我看過太多類似的行銷話術:

  • 「比 GPT-4 快 10 倍」(指特定 benchmark,並非一般場景)
  • 「節省 90% 成本」(指 input 側,不算 output)
  • 「支援 100 萬上下文」(指視窗大小,不是有效資訊量)

共同特點:選擇性揭露。挑最有利的指標、挑最理想的場景、挑最漂亮的數字。

對企業選型的實際意涵:

  • 別信簡報。跑自己的 case。
  • 用你真實的程式碼、真實的 prompt、真實的流量分布
  • 至少跑一週,涵蓋不同任務類型
  • 別只看 token,要看總成本 + 模型表現(壓縮後模型答錯率上升,等於白省)

Quesma 這類獨立 benchmark 應該成為採購流程的標準環節,而不是可選附件。

編輯觀點

這件事的核心不是 RTK 好不好,而是廠商自報數據的可信度正在崩塌。

過去 SaaS 時代,大家習慣「免費試用 + 業務對接」的採購流程。AI 工具不一樣——成本結構複雜(input/output/caching/工具呼叫)、效果難以量化、場景差異巨大。廠商完全有能力建構一個對自己有利的 benchmark,然後堂而皇之地放上官網。

我的判斷:未來一年,第三方 benchmark 會從 nice-to-have 變成採購標配。原因:

  1. 大型企業 CTO 被燒過幾次後,開始要求「獨立測試報告」作為付款條件
  2. 開源社群會湧現一批類似 Quesma 的獨立測試機構,專門做「戳破行銷話術」的活
  3. 監管可能介入——歐盟 AI Act 的部分條款已經朝這個方向走

這次與過去不同之處:以往的 benchmark 爭議是學術性的(ImageNet 上誰刷榜),這次的爭議是商業性的、直接攸關真金白銀。開發者社群的反應速度也比以前快得多——Quesma 一發文,HN 當天就登上首頁討論,廠商很難裝死。

不確定的部分:Quesma 的測試方法論本身是否無懈可擊?例如他們使用的 Claude Sonnet 4 是否對壓縮後的輸入有偏見?這需要更多獨立團隊重現驗證。若未來三個月內有 2-3 家得出類似結論(節省 5% 以內),那基本上可以定性為「行銷造假」。若出現分歧很大的重現結果,則代表場景敏感性比預期還高,選型時須更加謹慎。

參考連結:

來源: https://quesma.com/blog/does-rtk-make-ai-coding-cheaper/