実践

RTK は「トークン80%削減」を謳うが――Quesmaの実測はわずか2%だった

ベンダーは最大80%のトークン削減を主張したが、Quesmaによる独立テストでは実測2%にとどまった。HNで大きな議論を呼んだこのギャップは何が原因なのか、実測データを基に検証する。

文字サイズ

RTK とは?なぜ今さら議論になっているのか

RTK (Redux Toolkit) は、React エコシステムで公式に推奨されている状態管理ライブラリだ。最近、一部の AI コーディングツールがプロンプトの前処理工程にこれを取り入れ、コードや状態、コンテキストを RTK 流の「フラット化+シリアライズ」で圧縮してから LLM に渡す方式を推し進めている。

理屈としては筋が通っている。トークンが減れば、API 費用も下がる。

ベンダーが提示する売り文句は「トークン 60〜80% 削減」が定番で、いかにも説得力のあるデモ動画が添えられることも多い。ところがそのデモは入念に設計されたプロンプトで回したもので、現実のワークフローとはかけ離れている。

HN の該当スレッドはスコア 64、コメント 36 件と盛り上がりを見せており、開発者コミュニティがベンダーのコスト主張に対して懐疑的であることがうかがえる。Quesma のテストは、まさにその不信感を裏付ける結果となった。

Quesma はどうテストしたのか

Quesma は空論ではなく、テスト手法をすべて公開している。

  • コードタスク: リファクタリング、バグ特定、新機能追加など、現実のコーディングシナリオを 5 種類用意
  • ベースライン: 生のコードをそのまま Claude (Claude Sonnet 4) に投入
  • 実験群: RTK で圧縮した同じコードを同じモデルに投入
  • 計測指標: system prompt + user message + tool calls + assistant response を含む、エンドツーエンドのタスク完了までの総トークン消費量

重要なのは、ベンダーのデモにありがちな「超長コンテキスト+超シンプル質問」というプロンプトではなく、開発者の日常的なコーディングリクエスト――エラーメッセージ、やりとり、反復的なフィードバックを含む――を再現している点だ。

結果は以下のとおり。

  • ベンダー主張: 60〜80% 削減
  • Quesma 実測: 約 2% 削減

差は桁違いだ。

なぜここまで差が開いたのか

テスト方法論を踏まえて、考えられる原因を整理する。

1. テストシナリオの違い
ベンダーのデモは基本的に「ワンショット」のタスクだ。10 万行のコードを圧縮して、ひとつの質問を投げる。しかし現実のワークフローはマルチターンになる。質問して、回答を得て、さらに質問して、また回答を得る。RTK の圧縮による利点はマルチターンでは薄まりやすく、毎ターン新しいコード断片が入ってくるからだ。

2. System prompt が計算に入っていない
多くのベンダーは user message 内のトークン削減しか計上せず、system prompt やツール定義を含めていない。Claude の system prompt は数千トークンに及ぶことも珍しくない。ベースラインも実験群も同じ system prompt を使えば、総コストに占めるその比率は「削減率」を見かけ上押し下げる。

3. Caching が考慮されていない
Claude API には prompt caching がある。圧縮後のコンテンツがキャッシュにヒットしない場合、むしろコストが増える可能性がある。キャッシュは前方一致ベースで動作するため、圧縮アルゴリズムがテキスト構造を変えてしまうとヒット率が落ちる。Quesma のテストは caching シナリオを個別には走らせていないはずだが、企業導入時には必ず検討すべきポイントだ。

4. 圧縮そのものにかかるコスト
RTK による圧縮には追加の計算ステップが発生する。クライアント側で走らせれば時間、サーバー側で走らせればお金がかかる。この分は往々にして無視される。

5. 「トークン削減」≠「コスト削減」
仮に input トークンが 30% 減っても、output トークン (モデルの応答) は変わらないか、圧縮による情報ロスを取り戻そうとしてむしろ長くなることもある。Quesma のテストは総計で計算しているはずだが、ベンダーの多くは input 側しか見ない。

ベンダーの自己申告データとの向き合い方

こうした話は珍しくない。この 2 年だけでも、似たような marketing 表現を山ほど見てきた。

  • 「GPT-4 より 10 倍高速」(特定のベンチマーク限定。一般的な話ではない)
  • 「コスト 90% 削減」(input 側のみ。output は含まず)
  • 「100 万トークン対応」(ウィンドウサイズの話であって、実効情報量ではない)

共通するのは選択的開示だ。一番都合のいい指標、一番都合のいいシナリオ、一番きれいな数字だけを抜いて見せる。

企業の選定における実務的な教訓は次のとおり。

  • PPT を信じるな。自分のケースで回せ。
  • 実際のコード、実際のリクエスト、実際のトラフィック分布を使う
  • 少なくとも 1 週間、さまざまなタスクタイプをカバーして走らせる
  • トークンだけでなく、総コスト+モデル性能を見ろ。圧縮後にモデルの誤答率が上がれば、削減分は丸々パーだ

Quesma のような独立ベンチマークは、オプションではなく調達プロセスの標準プロセスにすべきだ。

編集後記

この件の核心は RTK の良し悪しではなく、ベンダーによる自己申告データの信頼性が崩壊しつつあるという点にある。

従来の SaaS 時代には、「無料トライアル+営業打ち合わせ」という調達フローが定着していた。AI ツールは違う。コスト構造 (input/output/caching/ツール呼び出し) が複雑で、効果の定量化が難しく、シナリオによるばらつきも大きい。ベンダーは自分に有利なベンチマークを設計し、それを堂々と公式サイトに載せることだってできる。

筆者の見立てでは、今後 1 年で第三者ベンチマークは nice-to-have から調達の必須項目に変わる。理由は 3 つある。

  1. 大企業の CTO クラスが何度か焼かれ、「独立テスト報告」を支払条件に盛り込み始める
  2. Quesma のような「マーケティングの誇張を突く」独立テスト機関が、オープンソースコミュニティから続々と登場する
  3. 規制が介入する可能性がある。EU AI Act の一部の条項はすでにこの方向を向いている

今回が従来と異なっているのは、議論が学術的なもの (ImageNet のスコア競争) ではなく、商業的で、かつリアルマネーに直結している点だ。開発者コミュニティの反応速度もかつてより格段に速い。Quesma がブログを公開したその日のうちに HN のフロントページに議論が上がり、ベンダーがシラを切り続けるのは難しい。

残る不確実な点として、Quesma のテスト方法論そのものが盤石かという疑問がある。たとえば、Claude Sonnet 4 が圧縮後の入力に対して何らかバイアスを持っている可能性はないか。これは他の独立チームが再現テストを重ねて初めて判断できる。今後 3 か月以内に 2〜3 社が類似の結果 (5% 以内の削減) を出せば、「マーケティング上の虚偽表示」とほぼ断定できるだろう。逆に、再現結果が大きく割れるようになれば、想定以上にシナリオ感度が高いということなので、選定は一層慎重を期す必要がある。

参考リンク:

出典: https://quesma.com/blog/does-rtk-make-ai-coding-cheaper/