실전

Anthropic이 claude.ai를 2주 만에 3배 빠르게 만든 법

Anthropic 엔지니어링 팀이 2주 동안 claude.ai의 p99 응답 시간을 3분의 1로 줄인 과정을 공개했다. 국내 LLM 프론트엔드 팀이 그대로 참고할 수 있는 엔지니어링 레버와, 환경이 달라 따라 하기 어려운 부분까지 정리한다.

글자 크기

Anthropic이 지난주 claude.dev/blog/how-we-made-claude-ai-faster에 엔지니어링 블로그를 하나 올렸다. 제목에서부터 두 숫자가 확 튀어 나온다: 2주, 3배. 이 글은 Hacker News 메인에도 올라갔다(item id=49821196, 17 points, 댓글 2개. 떡밥은 아니지만 무게감은 충분하다).

이 블로그에서 진짜 가치가 있는 부분은 코드가 아니다 — 코드 자체는 복잡하지 않다. 가치는 문제를 어떻게 짚었고, 우선순위를 어떻게 매겼으며, 단 2주 만에 코어 경로를 재설계할 수 있었던 점이다.

국내에서 LLM 제품 프론트를 만지는 사람(나 포함)이 읽으면 부럽다. 같은 종류의 최적화를, 국내 대부분의 AI 채팅 제품은 로그조차 제대로 안 찍고 있다.


배경: claude.ai 이번 작업에서 뭘 바꿨나

숫자부터 정리하자. 블로그 제목의 "3배"는 p99 end-to-end 응답 시간(time to first visible token + 이후 스트리밍 렌더링이 안정될 때까지의 시간)에 해당한다. TTFT 단일 지표가 아니고, 모델 추론 자체의 가속도 아니다 — Anthropic도 명확히 밝히길, 이건 클라이언트 엔지니어링 문제이며 모델 레이어는 건드리지 않았다.

작업 기간은 엔지니어 2인 기준 2주(calendar weeks), 2인월이 아니다. 이 밀도만 봐도改动이 프론트엔드 경로에 집중됐고 팀 간 조정이 거의 없었음을 알 수 있다.

최적화는 세 갈래로 나뉜다:

  • p99 지연 줄이기: 롱테일 요청을 식별하고 수정
  • 메시지 렌더 경로 재작성: 스트리밍 출력을 프레임워크 reconciliation에서 분리
  • 클라이언트 전체 슬림화: bundle, 폰트, 초기 화면

p99 지연: 무시되는 진짜 병목

대부분의 팀이 LLM 제품 성능을 볼 때 집중하는 건 평균값이다. 이건 잘못된 접근이다.

사용자는 평균을 체감하지 않는다. 사용자가 체감하는 건 이거다: 버튼 한 번 눌렀는데 8초 기다려야 첫 글자가 나온다. 이런 요청은 p95 이후, p99 근처에 떨어지는데 평균값으로는 절대 잡히지 않는다.

Anthropic의 접근은 전형적인 엔지니어링 스타일이다:

  1. 프론트에서 이벤트를 촘촘히 찍는다. Send 누른 순간 찍고, 스트리밍 첫 토큰이 렌더링된 순간 찍고, 스트리밍 종료 시점에 찍는다. 메시지당 타임스탬프 3개, 클라이언트에서 바로 전송.
  2. 스테이징이 아닌 실제 사용자 데이터로 분위수를 계산한다. p50, p95, p99 세 곡선을 보고 p99만 노린다.
  3. 롱테일 출처를 추적한다. p99가 튀는 요청을 trace 단위로 뒤져 두 유형을 발견: 네트워크 지터 + 렌더링 프레임 드롭. 전자는 CDN 노드 교체, 후자가 진짜 큰 덩어리.

이 방법론에 흑마술은 없다. 핵심은 p99가 곧 사용자 경험 지표라는 사실을 인정하는 것이다.

스트리밍 렌더링: SSE와 프론트엔드 프레임워크 사이의 어색함 분리하기

Claude 같은 제품의 핵심 인터랙션은 스트리밍 출력이다. 모델이 토큰을 토해내는 동안 프론트는 계속 렌더링한다.

문제는, SSE(Server-Sent Events)로 chunk가 들어올 때마다 React 같은 virtual DOM 기반 프레임워크가 reconciliation을 일으킨다는 점이다. 메시지 트리 전체가 하나의 큰 컴포넌트면, chunk 하나에 re-render 한 번, 메시지가 길어질수록 렌더링 비용이 선형으로 증가한다 — 길수록 사용자가 더 뚜렷이 끊김을 느낀다.

Anthropic이 제시한 해법의 골자(블로그에 전체 코드는 없지만思路는 설명되어 있다):

  • 메시지 스트리밍 렌더 경로를 정적 UI와 분리
  • 스트리밍 부분은 virtual DOM을 우회한 직접 DOM 업데이트(SolidJS, Immer 류의 사고방식)
  • 정적 부분(입력창, 사이드바)은 계속 React에 맡기고, 두 메커니즘이 각자 영역을 관리

claude.ai에서 실제로 돌려본 결과: 긴 메시지(500+ token) 렌더링이 안정되고 p99 지연이 한 자릿수 레벨로 떨어졌다.

2주에 3배: 진짜 엔지니어링 레버 vs 마케팅 문구

블로그에 언급된改动 포인트별로 개인적으로 레버 크기를 평가해봤다:

改动레버비고
p99 로깅 + 롱테일 위치 추적⭐⭐⭐⭐⭐이게 없으면 뒤의 모든 최적화는 눈 감고 찔러보는 격
스트리밍 렌더 경로 재작성⭐⭐⭐⭐⭐실질적 성능의 본체
Bundle 분할 + 폰트 최적화⭐⭐⭐보너스, 첫 화면 200ms 정도가 한계
CDN 노드 전환⭐⭐CDN 벤더에 따라 들쭉날쭉
"3배 가속"이라는 숫자⭐ (마케팅)단일 지표, 전체 경험 아님

제목값 3배에는 약간 선정적 요소가 섞여 있다. p99 end-to-end 지연의 개선이지, TTFT도 아니고 전체 처리량도 아니다. 다만 p99이 내려가면 사용자가 느끼는 "빠르다"는 실제 체감이라, 순전히 마케팅이라고 보기에도 애매하다.

국내 LLM 제품이 따라 할 수 있는 것, 못 하는 것

바로 따라 할 수 있는 것:

  • p99 로깅 방법론(어떤 팀이든 가능, 관문은 단지 엔지니어링 discipline)
  • 스트리밍 렌더와 정적 UI를 분리하는 사고방식(순수 프론트, 프레임워크 무관)

따라 하기 어려운 것:

  • CDN 노드 전환: 국내 모델 API는 대부분 클라우드 사업자 내부망(阿里云, 腾讯云, 火山引擎)을 타서, 공용 CDN 최적화 여지가 작고 지터 원인도 다르다
  • 브라우저 호환: claude.ai는 글로벌 대상으로 최신 Chrome/Safari를 가정한다. 국내 제품은 위챗 내장 브라우저, Quark, 각종 WebView까지 커버해야 해서 렌더 경로를 너무 공격적으로 가져갈 수 없다
  • 스트리밍 동작 차이:国产 모델들의 SSE 구현이 제각각(chunk 큰 것, 작은 것, 중간에 끊겼다가 재연결되는 것 등)이라 스트리밍 렌더 어댑터를 직접 만들어야 한다

가장 따라 할 가치가 있는 건 코드가 아니라 "p99가 곧 사용자 경험 지표다"라는 인식이다.

편집자 생각

이 블로그에서 가장 값진 부분은 3배라는 숫자가 아니다. "프론트엔드 성능 최적화"라는 일을 경험주의에서 다시 엔지니어링 방법론의 영역으로 끌어올렸다는 점이다: 로깅 → 분위수 확인 → 롱테일 추적 →针对性的 최적화. 이 방법은 국내 제품을 포함한 어떤 LLM 제품 프론트에도 그대로 적용된다.

다만 블로그가 말하지 않은 것도 중요하다: 모델 추론 속도 자체는 손대지 않았다. 프론트엔드 최적화는 천장만 내려놓을 뿐이다 — p99를 8초에서 2.5초로 줄여도, 사용자는 여전히 기다려야 한다. 모델 추론이 10초 걸리면, 프론트를 어떻게 흔들어도 결국 10초부터 시작이다. 이번 3배는 실제로 "렌더 레이어에서 낭비되던 시간"을 짜낸 것이지 모델이 빨라진 게 아니다.

반직관적인 관찰 하나: 대부분의 LLM 제품 성능 문제는 80%가 모델이 아니라 프론트엔드와 그 사이 네트워크 구간에 있다. 투자자들이 모델에 집중해 돈을 쏟아붓지만, 제품 경험의 병목은 정작 가장 투자받지 못하는 구간에 있는 경우가 많다. 그래서 오히려 Anthropic이 2주 만에 3배를 만들어낼 수 있었다: 프론트엔드 최적화의 레버는 모델 스케일업을 계속하는 것보다 훨씬 크다.

불확실한 부분 하나: 블로그는 변경 전후의 구체적인 p99 숫자를 공개하지 않고 "3배"라는 비율만 제시한다. baseline과 after의 실제 숫자를 공개 블로그에 함께 실었으면 신뢰도가 훨씬 올라갔을 텐데. 지금의 3배는 "엄밀한 엔지니어링"과 "마케팅 문구" 사이 어딘가에 위치한다.

참고 출처:

출처: https://claude.dev/blog/how-we-made-claude-ai-faster/