Inception Labs가 Mercury 2.5를 공개했다. 확산 기반 아키텍처로 1000+ tok/s, 코드 생성에 특화된 모델이다. 이 수치는 현재主流 자기회귀 모델에서는 찾아보기 어려운 수준이다. 공식 블로그와 Hacker News 논의를 훑어보면서 짚어둘 만한 포인트를 정리했다.
Mercury 2.5가 빠른 진짜 이유
공식 벤치마크에 따르면 Mercury 2.5는 코드 자동완성 작업에서 1000+ tokens/초를 기록한다. 간단히 비교하면 다음과 같다.
- GPT-4o: ~80–100 tok/s
- Claude 3.5 Sonnet: ~60–80 tok/s
- Mercury 2.5: 1000+ tok/s
대략 10–15배 차이다. 이 격차는 단순 최적화로 나온 결과가 아니라 아키텍처 수준의 차이에서 비롯된다.
자기회귀 모델(GPT, Claude, Gemini가 모두 이 방식을 채택)은 토큰을 한 번에 하나씩 순차적으로 생성한다. 앞 토큰이 끝나야 다음 토큰을 계산할 수 있으므로 본질적으로 직렬 처리다. 확산형 LLM은 정반대 방식으로 동작한다. 먼저 거친 "초안"을 만들고, 노이즈를 점진적으로 제거하며 다듬는다. 화가가 밑칠을 하고 세부 묘사를 추가하는 과정과 비슷하다. 이 메커니즘은 병렬 처리에 자연스럽게 맞아떨어지며, 여러 토큰을 동시에 정제할 수 있다.
코드 작업은 이런 병렬성에 특히 잘 맞는다. 코드 블록은 구조(들여쓰기, 괄호 매칭, 키워드)가 뚜렷하기 때문에 확산 모델이 함수 골격을 한 번에 잡고 나서 디테일을 채워 넣는 식으로 동작한다. 산문 작성과는 완전히 다른 영역이다. 확산 모델이 소설을 쓰는 데서 강점을 보이지는 않을 가능성이 높지만, 코드 자동완성 쪽에서는 분명 구조적 이점을 갖는다.
Inception Labs 자체 벤치마크에서 Mercury 2.5는 HumanEval, MBPP 같은 코드 벤치에서 GPT-4o와 비슷한 정확도를 유지하면서도 지연 시간을 한 자릿수 낮췄다 (출처: inceptionlabs.ai/blog/introducing-mercury-2-5).
확산 모델이 새것도 아닌데 왜 이제야 부상하나
확산 모델은 이미지 생성 분야에서는 이미 표준이 됐다 (Stable Diffusion, Midjourney 모두 이쪽). 텍스트 쪽 시도도 2023년부터 있었고, Mercury 1세대가 작년에 나온 상태지만 지금까지는 큰 반향을 일으키지 못했다.
Mercury 2.5 출시 직후 Hacker News 메인에 올랐다 (출처: news.ycombinator.com/item?id=49616354). 커뮤니티에서 나온 논점을 정리하면 다음과 같다.
- "이거 RISC vs CISC 순간인가?" CPU 아키텍처 경쟁에 비유한 의견이 있었다. 자기회귀는 CISC(복잡한 명령어, 직렬 실행), 확산은 RISC(단순화, 병렬). 비유가 깔끔하진 않지만 방향은 맞다.
- "생태계는 어떻게 되나?" vLLM, TensorRT-LLM 같은 추론 프레임워크는 모두 자기회귀 모델 기준으로 만들어졌다. 확산 모델을 쓰려면 별도 적응 작업이 필요하다.
- "파인튜닝이 되나?" 현재로서는 쓸 만한 파인튜닝 툴체인이 거의 없다.
- "품질이 진짜 충분한가?" 벤치마크 수치와 실제 코드 작성 능력은 별개의 문제다.
HN 댓글 중에 Mercury 1세대를 Cursor의 자동완성 백엔드로 사용한 사례가 이미 실용적이었다는 글이 있었다. 다만 복잡한 로직을 처음부터 생성하는 작업은 여전히 약했다는 평가다. 2.5에서 이 부분이 얼마나 개선됐는지 계속 봐야 한다.
코드 시나리오가 핵심 전장
Inception Labs는 자기 포지션을 명확히 하고 있다. Mercury 2.5는 범용 채팅이나 긴 문서 요약에는 손대지 않고, 오로지 코드 자동완성과 생성에만 집중한다.
이유는 단순하다. Cursor, Copilot, Continue.dev, Tabnine 같은 AI 코딩 툴에서 지연은 곧 생명줄이다. 사용자가 입력 도중 커서가 300ms라도 멈칫하면 체감상 "버벅인다"는 인상이 굳어진다. 코드 자동완성은 검색보다 더 민감한데, 사용자 멘탈 모델이 "지금 내가 타이핑하는 중"이기 때문이다. 인지 가능한 모든 대기 시간이 끊김으로 느껴진다.
확산 모델은 이런 시나리오에서 다음과 같은 강점을 보인다.
- 병렬 생성: 함수 전체의 토큰을 한꺼번에 계산, 순차 출력 불필요
- 구조 인지: 코드의 문법적 제약 덕분에 노이즈 제거 과정이 효율적으로 작동
- 중단 가능성: 도중에 잘라도 결과물이 그럴듯한 코드 조각이 될 확률이 높음
호출 예시는 공식 문서 스타일을 기반으로 대략 이런 형태다.
from inception import Mercury
client = Mercury(api_key="...")
response = client.completions.create(
model="mercury-2-5",
prompt="def fibonacci(n):\n ",
max_tokens=128,
temperature=0.2,
)
print(response.choices[0].text)
응답 시간은 보통 수십 밀리초 수준이다. Cursor 같은 IDE 안에서는 "입력과 동시에 결과가 나옴" 정도로 느껴진다.
다만 주의할 점이 있다. Mercury 2.5의 학습 데이터가 코드 쪽으로 편향돼 있어 일반적인 잡담이나 이메일 작성에는 어색한 결과물을 낸다. 범용 LLM으로 기대하고 쓰면 실망하기 쉽다.
상용화 한계: 빨라진 건 맞는데 누가 쓰나
여기서부터는 콘트라리안적인 시각이다.
Mercury 2.5의 속도는 분명 인상적이지만, 상용화까지 가려면 넘어야 할 산이 세 개 있다.
1. 생태계가 사실상 비어 있다
vLLM, TGI(Text Generation Inference), TensorRT-LLM 같은 추론 프레임워크는 모두 자기회귀 모델용으로 설계됐다. Mercury를 프로덕션에 올리려면 추론 인프라를 직접 구축해야 한다. 대부분의 회사에서 이 단계만으로도 도입을 포기할 가능성이 높다.
2. API 호환성 부재
OpenAI API가 사실상 표준이다. LangChain, LlamaIndex, 모든 Agent 프레임워크가 기본적으로 OpenAI 프로토콜을 따른다. Mercury의 네이티브 API는 이 규약과 호환되지 않아 통합 비용이 0이 아니다. Inception Labs가 OpenAI 호환 레이어를 제공하긴 하지만 기능이 100% 매칭되지는 않을 가능성이 높다.
3. 파인튜닝 툴체인 부재
기업 사용자가 자기 코드베이스로 fine-tune하고 싶어도 현재로서는 검증된 방법이 없다. LoRA, QLoRA 같은 기법은 모두 Transformer 자기회귀 구조를 전제로 설계된 것이므로 확산 모델용 파인튜닝 파이프라인은 새로 연구해야 한다.
개인적인 판단: 속도 우위는 2026–2027년쯤 자기회귀 모델의 캐싱 최적화(prompt caching, speculative decoding)에 의해 상당 부분 따라잡힐 것이다. Anthropic의 prompt caching은 이미 반복되는 prefix의 비용을 1/10로 낮췄고, speculative decoding(소형 모델이 초안을 작성 → 대형 모델이 검증)만으로도 2–3배 정도의 속도 향상이 가능하다. GPT-5, Claude 5 같은 차세대 모델이 이런 최적화를 네이티브로 통합할 때 Mercury의 10배 우위는 2–3배 수준으로 줄어든다. 그 정도 격차면 속도가 결정적 차별점은 아니게 된다.
Inception Labs가 진짜 쌓아야 할 해자는 "AI 코딩 전용 모델"이라는 포지션이지 단순한 "빠른 모델"이 아니다. IDE 환경에서 명확히 더 나은 사용자 경험을 제공하는 제품(예: Cursor와 깊게 통합된 형태)을 만들어야 비로소 시장이 열린다.
편집자 소견
Mercury 2.5는 표면만 보면 또 다른 LLM 출시 같지만, 실은 아키텍처 경로의 실질적 분기점이라는 점에서 의미가 크다.
지난 5년간 LLM은 거의 전부 자기회귀 방식을 따랐고, 같은 패러다임 안에서 파라미터·데이터·RLHF를 놓고 경쟁했다. Mercury(이른 시기 Mistral 실험, Google의 diffusion-for-text 연구 포함)는 완전히 다른 길이 엔지니어링 차원에서 작동 가능하며, 속도·구조화 출력·병렬성이라는 고유 강점을 갖는다는 사실을 입증했다.
CPU 역사에서의 RISC vs CISC 논쟁이 떠오른다. 단기적으로는 CISC(자기회귀)가 성숙한 생태계 때문에 계속 우세할 가능성이 높다. 하지만 RISC(확산)는 특정 시나리오(저지연, 구조화, 병렬)에서 확고한 영역을 확보할 것이다. 장기적으로는 두 방식이 융합될 가능성도 있다. 차세대 모델이 상위 계획은 자기회귀로, 로컬 정제는 확산으로 처리하는 식의 하이브리드가 등장할 수 있다.
현업에서 의미를 갖는 부분은 이거다. "Transformer 자기회귀" 한 바구니에 전부 걸지 말 것. 제품이 지연 시간에 극도로 민감하다면(IDE 자동완성, 실시간 음성, 로봇 제어) 확산 방식 경로를 진지하게 평가할 만하다. 최소한 Mercury API를 직접 호출해서 실제 체감을 확인해볼 가치는 있다.
아직 불확실한 영역도 있다. 확산 모델이 긴 컨텍스트(>32k tokens)와 복잡한 추론 작업에서 어떤 성능을 보이는지에 대한 공개 데이터가 아직 부족하다. 공식 블로그는 HumanEval 같은 짧은 태스크 위주의 벤치마크가 대부분이므로, 긴 작업에서의 실제 성능은 제3자 테스트가 더 쌓여봐야 알 수 있다.
속도는 분명 차별화 요소가 되겠지만, 그것이 결말을 결정짓지는 않을 것이다.
참고 출처: