实战

Claude.ai 提速 3 倍的两周:Anthropic 官博里的前端优化内幕

Anthropic 工程团队两周内把 claude.ai 拉到 3 倍性能,涉及 p99 延迟、流式渲染等真实细节。国内做 LLM 产品前端的人可以照抄思路——但先分清哪些是工程杠杆,哪些是营销话术。

字号

Anthropic 上周在 claude.dev/blog/how-we-made-claude-ai-faster 发了一篇工程博客,标题直接甩出两个数字:两周、3 倍。博客随后被顶到 Hacker News 首页(item id=49821196,17 points、2 条评论,讨论度不算爆但分量够)。

这篇博客值钱的地方不在代码——代码本身并不复杂——而在于他们怎么定位问题、怎么排优先级、以及敢于只花两周就重构一条核心链路。

国内做 LLM 产品前端的人(包括我自己)读完会眼红:同样的优化,国内大多数 AI 聊天产品连打点都没打全。


背景:claude.ai 这次优化到底改了什么

先把数字拆清楚。博客标题里的"3 倍"对应的是 p99 端到端响应时间(time to first visible token 加上后续流式渲染稳定下来的时间),不是首字时间(TTFT)单点指标,也不是模型推理本身的加速——Anthropic 明确说了这是客户端工程的事,模型层没动。

时间窗口是两个工程师周(calendar weeks),不是两个人月。这个密度本身就说明改动集中在前端链路,没有跨团队协调。

优化分三条线:
- p99 延迟降下来:识别并修复长尾请求
- 消息渲染路径重写:流式输出和框架 reconciliation 解耦
- 客户端整体瘦身:bundle、字体、首屏


p99 延迟:被忽视的真正瓶颈

大多数团队看 LLM 产品的性能,盯的是平均值。这是错的。

用户不感受平均值。用户感受的是:我点了一下按钮,等了 8 秒才开始蹦字。这种请求落在 p95 之后,p99 附近,平均值根本看不出来。

Anthropic 的做法很工程师:

  1. 在前端打点埋全。点 Send 那一刻打一个点,流式第一个 token 落地打一个点,流式结束打一个点。每条消息三个时间戳,client 端直传。
  2. 用真实用户数据算分位数,不看 staging 环境。看 p50、p95、p99 三条曲线,只优化 p99。
  3. 定位长尾来源。p99 高的请求,逐条查 trace,发现两类问题:网络抖动 + 渲染卡顿。前者换 CDN 节点,后者才是大头。

这个方法论没有黑魔法,关键是承认 p99 才是用户体验指标。


流式渲染:把 SSE 和前端框架的别扭处拆开

Claude 这种产品的核心交互是流式输出。模型一边吐 token,前端一边渲染。

问题是,SSE(Server-Sent Events)每收到一个 chunk,React 这种基于 virtual DOM 的框架都会触发 reconciliation。如果整个消息树是一个大组件,每来一个 chunk 就 re-render 一遍,长消息场景下渲染开销线性增长——消息越长,用户越能感觉到卡。

Anthropic 的解法思路(博客没给完整代码,但描述了思路):

  • 把消息流式渲染路径和静态 UI 解耦
  • 流式部分用绕过 virtual DOM 的直接 DOM 更新(类似 SolidJS、Immer 那套思路)
  • 静态部分(输入框、侧边栏)继续走 React,两套机制各管各的

这套做法在 claude.ai 上跑起来的效果是:长消息(500+ token)渲染稳定,p99 延迟直接掉了一个数量级。


两周做 3 倍:哪些是工程杠杆、哪些是营销话术

博客里提到的几个改动点,我个人评估它们的杠杆大小:

改动 杠杆 备注
p99 打点 + 长尾定位 ⭐⭐⭐⭐⭐ 没有这个,后面所有优化都是盲打
流式渲染路径重写 ⭐⭐⭐⭐⭐ 真正的性能大头
Bundle 拆分 + 字体优化 ⭐⭐⭐ 锦上添花,首屏快 200ms 算多的
CDN 节点切换 ⭐⭐ 取决于你的 CDN 供应商,效果浮动大
"3 倍提速"这个数字 ⭐(营销) 单一指标,不是整体体验

3 倍这个标题党成分是有的。它是 p99 端到端延迟的改善,不是 TTFT(首字时间)也不是整体吞吐。但 p99 降下来,用户的主观"快"是真实的——所以也不完全是营销。


国内 LLM 产品能抄什么、抄不动什么

直接抄的:
- p99 打点方法论(任何团队都能做,门槛只是工程纪律)
- 流式渲染和静态 UI 解耦的思路(纯前端,框架无关)

抄不动的:
- CDN 节点切换:国内模型 API 大多走云厂商内网(阿里云、腾讯云、火山引擎),公网 CDN 优化空间小,且网络抖动原因不同
- 浏览器兼容:claude.ai 面向全球用户,假设是最新 Chrome/Safari。国内产品要兼容微信内置浏览器、夸克、各类套壳,渲染路径不能太激进
- 流式行为差异:不同国产模型的 SSE 实现不一致(有的 chunk 大、有的 chunk 小、有的中途会断连重连),流式渲染适配层要自己写

最值得抄的不是代码,是"p99 才是用户体验指标"这个认知。


编辑思考

这篇博客最值钱的部分不是 3 倍这个数字,而是它把"前端性能优化"这件事从经验主义拉回到了工程方法论层面:打点 → 看分位数 → 定位长尾 → 针对性优化。这个方法适用于任何 LLM 产品前端,包括国内这些。

但博客没说的部分也很重要:模型推理速度本身没动。前端优化只是把天花板下移了——你 p99 从 8 秒优化到 2.5 秒,但用户还是得等。如果模型推理是 10 秒,前端再怎么折腾也是 10 秒起。这次的 3 倍,实际是把"渲染层白白浪费的时间"挤掉了,不是让模型变快了。

一个反共识的观察:大多数 LLM 产品的性能问题,80% 都不在模型,而在前端和中间的网络链路上。这很反直觉——投资人愿意给的钱都砸在模型上,但产品体验的瓶颈往往在最不被投资的那一段。这也是为什么 Anthropic 能用两周做出 3 倍:前端优化的杠杆远大于继续 scale 模型。

不确定的一点:博客没披露具体改动前后的 p99 数字,只有"3 倍"这个比例。如果他们愿意在公开博客里把 baseline 和 after 的真实数字摆出来,可信度会高很多。现在的 3 倍,介于"严谨工程"和"营销话术"之间。

参考来源:
- Anthropic 官方博客: claude.dev/blog/how-we-made-claude-ai-faster
- Hacker News 讨论: news.ycombinator.com/item?id=49821196

来源: https://claude.dev/blog/how-we-made-claude-ai-faster/