RTK 是什麼,為何引發爭議
RTK 全名 Redux Toolkit,是 React 生態系官方推薦的狀態管理函式庫。近來被部分 AI 編碼工具引入 prompt 前處理流程——將程式碼、狀態與上下文經過 RTK 風格的「扁平化 + 序列化」壓縮後,再丟給 LLM。
邏輯聽起來合理:token 變少,API 費用就跟著降。
廠商的賣點通常是「節省 60%-80% token」,再搭配一支看起來很漂亮的 demo 影片。但問題在於:這種 demo 用的都是精心設計過的 prompt,並非真實工作流程。
HN 上該則貼文討論熱度很高,開發者普遍不信任廠商自行公布的成效數據。Quesma 的測試正好戳中這個痛點。
Quesma 的測試方法
Quesma 並非空口說白話,他們公開了完整的測試方法:
- 程式碼任務:挑選 5 個真實編碼場景,包含重構、bug 定位、新功能開發
- Baseline:直接將原始程式碼餵給 Claude(使用 Claude Sonnet 4)
- 實驗組:經過 RTK 壓縮後再餵給同一個模型
- 衡量指標:端對端完成任務的總 token 消耗,包含 system prompt + user message + tool calls + assistant response
關鍵細節:他們沒有使用廠商 demo 中那種「超長上下文 + 極簡問題」的 prompt,而是模擬開發者日常的編碼請求——會包含錯誤訊息、反覆迭代過程、中間回饋。
結果:
- 廠商宣稱節省 60-80%
- Quesma 實測節省約 2%
差距不是一倍兩倍,而是整整一個數量級。
差距為何如此懸殊
我看完他們的測試方法論後,歸納出幾個可能原因:
1. 測試場景不同
廠商 demo 通常是「一次性」任務——把 10 萬行程式碼壓縮後問一個問題。但真實工作流程是多輪的——你問一句,模型答一句,再問一句,再答。RTK 的壓縮優勢在多輪對話中會被稀釋,因為每一輪都有新的程式碼片段加入。
2. System prompt 沒算進去
許多廠商只統計 user message 裡的 token 節省,不算 system prompt 與工具定義。但 Claude 的 system prompt 動輒數千 token。若 baseline 與實驗組都用同一份 system prompt,那它在總開銷中的占比會拉低「節省比例」。
3. Caching 沒納入考量
Claude API 有 prompt caching。若壓縮後的內容無法命中 cache,反而可能增加成本——因為 cache 是基於前綴匹配的,壓縮演算法改變了文字結構,命中率會下降。Quesma 的測試中應該沒有單獨跑 caching 情境,但這是企業落地時必須考量的點。
4. 壓縮本身的開銷
RTK 在壓縮時需要額外的計算步驟。在 client 端跑要花時間;在 server 端跑要花錢。這部分成本往往被忽略。
5. 「Token 節省」≠「省錢」
即使真的省了 30% input token,output token(模型回覆)可能沒變,甚至因為壓縮後資訊遺失而變長——模型要補充說明。Quesma 的測試應該是算總帳,但許多廠商只算 input。
面對廠商自報數據的態度
這種事並不新鮮。過去兩年我看過太多類似的行銷話術:
- 「比 GPT-4 快 10 倍」(指特定 benchmark,並非一般場景)
- 「節省 90% 成本」(指 input 側,不算 output)
- 「支援 100 萬上下文」(指視窗大小,不是有效資訊量)
共同特點:選擇性揭露。挑最有利的指標、挑最理想的場景、挑最漂亮的數字。
對企業選型的實際意涵:
- 別信簡報。跑自己的 case。
- 用你真實的程式碼、真實的 prompt、真實的流量分布
- 至少跑一週,涵蓋不同任務類型
- 別只看 token,要看總成本 + 模型表現(壓縮後模型答錯率上升,等於白省)
Quesma 這類獨立 benchmark 應該成為採購流程的標準環節,而不是可選附件。
編輯觀點
這件事的核心不是 RTK 好不好,而是廠商自報數據的可信度正在崩塌。
過去 SaaS 時代,大家習慣「免費試用 + 業務對接」的採購流程。AI 工具不一樣——成本結構複雜(input/output/caching/工具呼叫)、效果難以量化、場景差異巨大。廠商完全有能力建構一個對自己有利的 benchmark,然後堂而皇之地放上官網。
我的判斷:未來一年,第三方 benchmark 會從 nice-to-have 變成採購標配。原因:
- 大型企業 CTO 被燒過幾次後,開始要求「獨立測試報告」作為付款條件
- 開源社群會湧現一批類似 Quesma 的獨立測試機構,專門做「戳破行銷話術」的活
- 監管可能介入——歐盟 AI Act 的部分條款已經朝這個方向走
這次與過去不同之處:以往的 benchmark 爭議是學術性的(ImageNet 上誰刷榜),這次的爭議是商業性的、直接攸關真金白銀。開發者社群的反應速度也比以前快得多——Quesma 一發文,HN 當天就登上首頁討論,廠商很難裝死。
不確定的部分:Quesma 的測試方法論本身是否無懈可擊?例如他們使用的 Claude Sonnet 4 是否對壓縮後的輸入有偏見?這需要更多獨立團隊重現驗證。若未來三個月內有 2-3 家得出類似結論(節省 5% 以內),那基本上可以定性為「行銷造假」。若出現分歧很大的重現結果,則代表場景敏感性比預期還高,選型時須更加謹慎。
參考連結: