Anthropicは先週、claude.dev/blog/how-we-made-claude-ai-fasterでエンジニアリングブログを公開した。タイトルには2週間と3倍という数字がそのまま並ぶ。直後にHacker Newsのフロントページに上がり(item id=49821196、17ポイント・コメント2件)、爆発的な議論ではないにせよ十分な注目を浴びた。
このブログ的价值はコードにはない。コード自体は大して複雑ではない。価値があるのは、問題の特定方法、優先順位の付け方、そして2週間で中核的な処理経路を再構築するという決断にある。
国内のLLMプロダクトのフロントエンドを担当している人間(私も含めて)にとっては、正直うらやましい話だ。同じレベルの最適化を、国内のAIチャットプロダクトの大半は計測すらまともにできていない。
背景:claude.aiの今回の最適化で実際に何が変わったのか
まず数字を分解する。ブログタイトルにある「3倍」が指すのはp99のエンドツーエンド応答時間(time to first visible tokenに加えて、ストリーミングレンダリングが安定するまでの時間を含む)であり、TTFT(Time To First Token)の単独指標でもなければ、モデル推論そのものの高速化でもない。Anthropicが明確に述べているとおり、これはクライアントサイドエンジニアリングの話であり、モデル層には手を入れていない。
期間は2エンジニアウィーク(calendar weeks)であって、2人月ではない。この密度だけでも、変更がフロントエンド経路に集中しており、チーム横断の調整が不要だったことがわかる。
最適化は3つの軸で進められた。
- p99レイテンシの削減:ロングテールリクエストの特定と修正
- メッセージレンダリング経路の再設計:ストリーミング出力をフレームワークのreconciliationから切り離す
- クライアント全体の軽量化:bundle、フォント、ファーストペイント
p99レイテンシ:見落とされがちな真のボトルネック
LLMプロダクトの性能を見る際、多くのチームが平均値を追いかけている。これは間違いだ。
ユーザーが体感するのは平均値ではない。送信ボタンを押してから、文字が出るまで8秒もかかった——という経験だ。こうしたリクエストはp95以降、p99付近に落ち込んでおり、平均値には現れない。
Anthropicのアプローチはエンジニアらしい。
- フロントエンドの計測ポイントをすべて仕込む。送信時点で1点、ストリーミングの最初のトークン到達時点で1点、ストリーミング完了時点で1点。1メッセージにつき3つのタイムスタンプをクライアントから直接送信する。
- 分位数の算出にはstaging環境ではなく実ユーザーデータを使う。p50、p95、p99の3本曲線を見て、p99だけを最適化する。
- ロングテールの発生源を特定する。p99が遅いリクエストを1件ずつtraceで追跡し、原因が2種類に大別できることを確認。ネットワークのジッタとレンダリングの引っかかりだ。前者はCDNノードを切り替え、後者が本命だった。
この方法論に魔法はない。p99こそがユーザー体験の指標であると認めることが要点だ。
ストリーミングレンダリング:SSEとフロントエンドフレームワークの相性の悪さを分離する
Claudeのようなプロダクトの中核インタラクションはストリーミング出力だ。モデルがトークンを吐き出すそばから、フロントエンドが描画していく。
問題は、SSE(Server-Sent Events)でチャンクを受信するたびに、Reactのようなvirtual DOMベースのフレームワークがreconciliationを起こす点にある。メッセージツリー全体を1つの大きなコンポーネントにしていると、チャンクごとに再レンダリングが走り、長文メッセージではレンダリングコストが線形に増加する。メッセージが長くなればなるほど、ユーザーは引っかかりを感じる。
Anthropicの解決方針(ブログに完全なコードはないが、思路は説明されている):
- ストリーミングのレンダリング経路と、静的なUIを切り離す
- ストリーミング部分はvirtual DOMをバイパスして直接DOMを更新する(SolidJSやImmerの発想に近い)
- 静的な部分(入力欄、サイドバー)は従来通りReactに任せる。2つの仕組みを併存させる
この方式をclaude.aiで運用した結果、長文メッセージ(500トークン超)のレンダリングは安定し、p99レイテンシが一桁違うレベルまで下がった。
2週間で3倍:エンジニアリングのレバーはどこまで効くのか
ブログで言及されている改善項目について、それぞれの実効性を独断で評価したのが以下の表だ。
| 改善項目 | レバーの大きさ | 備考 |
|---|---|---|
| p99計測とロングテール特定 | ⭐⭐⭐⭐⭐ | これがなければ以降の最適化はすべて勘頼み |
| ストリーミングレンダリング経路の再設計 | ⭐⭐⭐⭐⭐ | 本当のパフォーマンスの主役 |
| Bundle分割とフォント最適化 | ⭐⭐⭐ | 小手先の効果。ファーストペイントが200ms速くなれば良い方 |
| CDNノードの切り替え | ⭐⭐ | CDN事業者次第で効果の振れ幅が大きい |
| 「3倍高速化」という数字 | ⭐(マーケ) | 単一指標であって全体体験ではない |
「3倍」という見出しにはキャッチーさがある。これはp99のエンドツーエンドレイテンシの話であって、TTFT(初トークン到達時間)でもスループット全体でもない。ただし、p99が下がればユーザーの主観的な「速さ」は確かに改善する。だから完全なマーケというわけでもない。
国内のLLMプロダクトが真似できる部分と、そうでない部分
そのまま真似できるもの:
- p99計測の方法論(どのチームでもできる。必要なのはエンジニアリング規律だけ)
- ストリーミングレンダリングと静的UIの分離という考え方(純粋にフロントエンドの話で、フレームワークに依存しない)
真似しにくいもの:
- CDNノードの切り替え:国内のモデルAPIは大半がクラウド事業者の内部ネットワーク(Alibaba Cloud、Tencent Cloud、Volcano Engine)を通るため、パブリックなCDN最適化の余地は小さい。しかもネットワークジッタの原因も異なる
- ブラウザ互換:claude.aiは世界向けで、最新版のChrome/Safariを前提にできる。国内プロダクトは微信内蔵ブラウザ、Quark、各種カスタムブラウザに対応する必要があり、レンダリング経路を攻めすぎた設計はできない
- ストリーミング挙動の違い:国内のモデルごとにSSEの実装が揃っていない(チャンクサイズが大きいものもあれば小さいものもある、中断して再接続するものもある)。ストリーミングレンダリングの適応層は自前で書く必要がある
最も価値あるのはコードではなく、「p99こそがユーザー体験の指標である」という認識だ。
編集後記
このブログで本当に価値ある部分は「3倍」という数字ではなく、「フロントエンドパフォーマンス最適化」を経験論の領域からエンジニアリング方法論の領域に引き上げたことだ。計測 → 分位数を確認 → ロングテールを特定 → 集中的に最適化。このフローは国内のLLMプロダクトのフロントエンドを含め、どんなサービスにでも通用する。
ただし、ブログに書かれていないことも同じように重要だ。モデル推論速度そのものには手を加えていない。フロントエンドの最適化は天井を下げたに過ぎない。p99を8秒から2.5秒に縮めても、ユーザーは結局待つことになる。もしモデルの推論が10秒かかるなら、フロントエンドをどうこねても下限は10秒だ。今回の3倍とは、「レンダリング層で無駄に失われていた時間」を絞った結果であって、モデルが速くなったわけではない。
逆張りの視点を1つ。大多数LLMプロダクトの性能問題のうち、80%はモデルではなく、フロントエンドと中間のネットワーク経路に存在する。これは直感に反する。投資家は喜んで資金をモデルに投じるが、製品体験のボトルネックは最も金のかからない層にあることが多い。Anthropicが2週間で3倍を出せたのも、フロントエンド最適化のレバレッジが、モデルのスケールアップよりも遥かに大きいからだ。
不確かな要素も残っている。ブログには具体的な変更前と変更後のp99数値が開示されておらず、「3倍」という比率だけが示されている。もし彼らが公開ブログにベースラインと改善後の生の数字を並べていれば、信頼度はさらに上がったはずだ。現状の「3倍」は、「厳密なエンジニアリング」と「マーケティング」のあいだにある。
参考ソース:
- Anthropic公式ブログ:claude.dev/blog/how-we-made-claude-ai-faster
- Hacker Newsでの議論:news.ycombinator.com/item?id=49821196