實戰

兩週把 Claude.ai 催快三倍:Anthropic 工程部落格的前端優化全解析

Anthropic 工程團隊在兩週內把 claude.ai 效能拉高三倍,涵蓋 p99 延遲與串流渲染等實戰細節。對台灣與香港的前端工程師而言,哪些手法可直接借用、哪些只是行銷包裝,值得拆開來看。

字級

Anthropic 上週在 claude.dev/blog/how-we-made-claude-ai-faster 發了一篇工程部落格,標題直接甩出兩個數字:兩週、3 倍。文章隨後被頂到 Hacker News 首頁(item id=49821196,17 points、2 條評論,討論度不算爆但分量夠)。

這篇部落格值錢的地方不在程式碼——程式碼本身並不複雜——而在於他們怎麼定位問題、怎麼排優先順序,以及敢於只花兩週就重構一條核心鏈路。

做 LLM 產品前端的人(包括我自己)讀完會眼紅:同樣的優化,國內大多數 AI 聊天產品連埋點都沒埋全。


背景:claude.ai 這次優化到底改了些什麼

先把數字拆清楚。部落格標題裡的「3 倍」對應的是 p99 端到端響應時間(time to first visible token 加上後續串流渲染穩定下來的時間),不是首字時間(TTFT)單點指標,也不是模型推理本身的加速——Anthropic 明確說了這是客戶端工程的事,模型層沒動。

時間窗口是兩個工程師週(calendar weeks),不是兩個人月。這個密度本身就說明改動集中在前端鏈路,沒有跨團隊協調。

優化分三條線:

  • p99 延遲降下來:識別並修復長尾請求
  • 訊息渲染路徑重寫:串流輸出與框架 reconciliation 解耦
  • 客戶端整體瘦身:bundle、字型、首屏

p99 延遲:被忽視的真正瓶頸

大多數團隊看 LLM 產品的效能,盯的是平均值。這是錯的。

使用者不在乎平均值。使用者感受的是:我點了一下按鈕,等了 8 秒才開始跳字。這種請求落在 p95 之後、p99 附近,平均值根本看不出來。

Anthropic 的做法很工程:

  1. 在前端埋點埋全。按下 Send 的那一刻打一個點,串流第一個 token 落地打一個點,串流結束打一個點。每則訊息三個時間戳,client 端直傳。
  2. 用真實使用者資料算分位數,不看 staging 環境。看 p50、p95、p99 三條曲線,只優化 p99。
  3. 定位長尾來源。p99 高的請求,逐條查 trace,發現兩類問題:網路抖動 + 渲染卡頓。前者換 CDN 節點,後者才是大宗。

這個方法論沒有黑魔法,關鍵是承認 p99 才是使用者體驗指標。

串流渲染:把 SSE 與前端框架的彆扭處拆開

Claude 這類產品的核心互動是串流輸出。模型一邊吐 token,前端一邊渲染。

問題是,SSE(Server-Sent Events)每收到一個 chunk,React 這種基於 virtual DOM 的框架都會觸發 reconciliation。如果整個訊息樹是一個大元件,每來一個 chunk 就 re-render 一遍,長訊息場景下渲染開銷線性增長——訊息越長,使用者越能感覺到卡頓。

Anthropic 的解法思路(部落格沒給完整程式碼,但描述了思路):

  • 把訊息串流渲染路徑與靜態 UI 解耦
  • 串流部分用繞過 virtual DOM 的直接 DOM 更新(類似 SolidJS、Immer 那套思路)
  • 靜態部分(輸入框、側邊欄)繼續走 React,兩套機制各管各的

這套做法在 claude.ai 上跑起來的效果是:長訊息(500+ token)渲染穩定,p99 延遲直接掉了一個數量級。

兩週做 3 倍:哪些是工程槓桿、哪些是行銷話術

部落格裡提到的幾個改動點,個人評估它們的槓桿大小:

改動槓桿備註
p99 埋點 + 長尾定位⭐⭐⭐⭐⭐沒有這個,後面所有優化都是盲打
串流渲染路徑重寫⭐⭐⭐⭐⭐真正的效能大宗
Bundle 拆分 + 字型優化⭐⭐⭐錦上添花,首屏快 200ms 算多的
CDN 節點切換⭐⭐取決於你的 CDN 供應商,效果浮動大
「3 倍提速」這個數字⭐(行銷)單一指標,不是整體體驗

3 倍這個標題黨成分是有的。它是 p99 端到端延遲的改善,不是 TTFT(首字時間)也不是整體吞吐。但 p99 降下來,使用者的主觀「快」是真實的——所以也不完全是行銷。

本地 LLM 產品能抄什麼、抄不動什麼

直接抄的:

  • p99 埋點方法論(任何團隊都能做,門檻只是工程紀律)
  • 串流渲染與靜態 UI 解耦的思路(純前端,框架無關)

抄不動的:

  • CDN 節點切換:本地模型 API 大多走雲廠商內網(阿里雲、騰訊雲、火山引擎),公網 CDN 優化空間小,且網路抖動原因不同
  • 瀏覽器相容:claude.ai 面向全球使用者,假設是最新 Chrome/Safari。本地產品要相容 LINE 內建瀏覽器、Chrome、各類 App 內 WebView,渲染路徑不能太激進
  • 串流行為差異:不同本地模型的 SSE 實作不一致(有的 chunk 大、有的 chunk 小、有的中途會斷線重連),串流渲染適配層要自己寫

最值得抄的不是程式碼,是「p99 才是使用者體驗指標」這個認知。

編輯思考

這篇部落格最值錢的部分不是 3 倍這個數字,而是它把「前端效能優化」這件事從經驗主義拉回到了工程方法論層面:埋點 → 看分位數 → 定位長尾 → 針對性優化。這個方法適用於任何 LLM 產品前端,包括本地這些。

但部落格沒說的部分也很重要:模型推理速度本身沒動。前端優化只是把天花板下移了——你 p99 從 8 秒優化到 2.5 秒,但使用者還是得等。如果模型推理是 10 秒,前端再怎麼折騰也是 10 秒起。這次的 3 倍,實際上是把「渲染層白白浪費的時間」擠掉了,不是讓模型變快了。

一個反共識的觀察:大多數 LLM 產品的效能問題,80% 都不在模型,而在前端與中間的網路鏈路上。這很反直覺——投資人願意給的錢都砸在模型上,但產品體驗的瓶頸往往在最不被投資的那一段。這也是為什麼 Anthropic 能用兩週做出 3 倍:前端優化的槓桿遠大於繼續 scale 模型。

不確定的一點:部落格沒揭露具體改動前後的 p99 數字,只有「3 倍」這個比例。如果他們願意在公開部落格裡把 baseline 和 after 的真實數字攤出來,可信度會高很多。現在的 3 倍,介於「嚴謹工程」與「行銷話術」之間。

參考來源:

來源: https://claude.dev/blog/how-we-made-claude-ai-faster/