Mercury 3란 무엇인가
한 문장으로 요약하면 LLM에 diffusion 패러다임을 적용해 token을 하나씩 순차적으로 해독하지 않고 병렬 생성한다는 것이다.
GPT와 Claude, Gemini 등 전통적인 LLM은 대부분 autoregressive 방식을 따른다. 앞선 token이 나올 때까지 뒤의 token은 기다릴 수밖에 없다. 반면 Mercury 3의 diffusion 방식은 출력될 token 전체의 분포를 먼저 예측한 뒤, 여러 단계의 refinement을 통해 노이즈를 읽을 수 있는 텍스트로 바꾼다. 이 아이디어는 이미지 생성의 diffusion에서 출발했다.
Mercury 1과 2는 이미 코드 작성과 agent 작업에 사용되고 있다. Mercury 3는 이 접근법을 production inference 단계까지 끌어올렸다. 실시간으로 실행해 보는 demo가 아니라 reverse proxy나 서버 측 추론에 활용할 수 있다는 뜻이다.
Inception Labs의 목표는 범용 채팅 LLM이 아니다. 이들은 latency에 민감한 coding과 agent 시장을 노리고 있다. 속도가 1초만 느려져도 agent는 사용자의 응답을 기다리며 멈춰 선다.
속도와 비용은 실제로 얼마나 빠른가
Inception이 공개한 자체 benchmark 결과는 다음과 같다.
- 추론 latency: coding agent 작업에서 Mercury 3가 주요 autoregressive 모델보다 한 자릿수 빠르다.
- 비용: 같은 작업에서 token당 비용이 GPT-4o와 Claude 같은 모델보다 한 자릿수 낮다.
공개된 숫자에는 통상적으로 회의적인 시각으로 접근할 필요가 있다. 실제로 3배만 빠르고 비용이 절반만 줄어도 agent 환경에서는 질적인 변화가 일어난다.
agent는 한 번의 대화가 아니라 수백 번의 tool call이 연결된 작업 흐름이기 때문이다. LLM 호출마다 발생하는 latency가 그대로 누적된다. 어떤 coding agent가 밤새 500번 호출하며 각 호출이 200ms만 느리다면 무조건 100초를 기다리게 된다. diffusion이 단일 호출 latency를 800ms에서 80ms로 줄인다면, agent는 '어찌고 쓸 만한 수준'을 넘어 '실제로 쓸 수 있는 수준'으로 바뀐다.
또한 diffusion의 병렬 생성 방식은 batching 효율도 근본적으로 높인다. autoregressive 모델은 요청을 batch로 묶더라도 prefill 일부에만 적용할 수 있고 decode 단계에서는 병렬화가 어렵다. diffusion은 전체 token을 한꺼번에 처리하므로 GPU 활용률이 올라가고 단위 비용은 내려간다.
이는 단순한 최적화가 아니라 패러다임의 차이다.
기술보다 주목할 만한 투자자 구성
기술적 주장은 신중하게 검증해야 하지만, 투자자는marketing만으로,尤其是在 PR 목적의 '전략적 협력' 설명만으로는 돈을 내지 않는다.
Mercury 3의 투자자는 다음과 같다.
- a16z: 비주류 기술 경로를,果敢히 투자해 온 Andreessen Horowitz
- Nvidia: GPU 시장을 지배하는 기업이자 새로운 컴퓨팅 패러다임에도 투자하는 计算ustin
- Microsoft: Azure는 대형 LLM 추론 클라우드 서비스 중 하나로, 투자 사실 자체가 통합을 진지하게 검토하고 있음을 시사한다
세|party가 동시에 실제금을 투자했다. 이는 실험실 장난감 수준의 프로젝트가 아니라는 점을 보여 준다.
Diffusion LLM은 오래된 개념인데 왜 지금야落地될 수 있나
텍스트에 diffusion을 적용하려는 시도는 적어도 7년째 이어지고 있다.
- 2022년부터 여러 팀이 diffusion 기반 텍스트 생성을 시도했다.
- Google과 Meta, Salesforce Research에서도 관련 논문이、片栗修士 나온。
- 그러나 어느 모델도 production 수준에 도달하지 못했다. 규모를 키우지 못했거나, 품질이 autoregressive 모델보다 낮았다.
Mercury 3가 기존 접근법과 다른 점은 세 가지다.
- 규모를 확보했다. GPT-4o와 Claude급 hardware에서 실행되며 production 트래픽을 감당할 수 있다는 설명이 있다.
- 실제로 출시했다. 논문이나 demo가 아니라 고객이 비용을 지불하며 사용하는 production deployment이라는 점이 다르다.
- 적합한 시장을 골랐다. coding과 agent처럼 latency에 민감한 작업은 diffusion 패러다임의 강점이 직접 발휘되는 영역이다.
이전 시도가 실패한 이유는 규모, 품질, 배포를 동시에 해결하기 어려웠기 때문이다. Inception은 이번에 최소한 두 가지는 잘 달성했다고 볼 수 있지만, 품질이 정말 충분한지는 독립적인 benchmark가 나와야 확인 가능하다.
Agent 생태계에 미칠 실제 영향
agent는 latency에 민감하다는 점을 이미 살펴봤다. 구체적으로 어떤 제품을 영향을 받을 수 있을까?
가장 직접적인 대상은 coding agent다. Cursor, Claude Code, Devin처럼 매 단계마다 LLM을 호출하는 제품은 조금만 느려도 멈춘다. Mercury 3가 낮은 latency를 안정적으로 유지한다면 이 시장부터 영향을 미칠 수 있다.
그다음은 browser agent과 computer use agent이다. 사용자에게 자연스러운 경험을 제공하려면 더 짧은 피드백 주기가 필요하다. self-hosted 환경에서는 자체 diffusion 서비스를 구축해 token당 비용을 더욱 낮출 수 있다.
더 넓게는 agent orchestration layer에도 영향이 미칠 수 있다. LangGraph, 상태 그래프, A2A protocol은 Mercury 3를 직접 호출하지 않지만, 하위 model이 빨라지면 전체 orchestration의 throughput도 올라간다.
앞으로 6~12개월 동안 일어날 가능성이 높은 변화는 다음과 같다.
- Coding agent 기업이 Mercury 3를 테스트하기 시작할 가능성이 있다. Cursor와 Cognition(Devin) 등이 초기 고객 후보가 될 수 있다.
- vLLM 같은 추론 framework이 diffusion LLM을 지원할 가능성이 있다. 현재 vLLM과 TensorRT-LLM은 autoregressive 모델을 전제로 설계되어 추가적인 adaptation이 필요하다.
- 클라우드 사업자가 모델을 통합할 가능성이 있다. Azure가 투자를 단 만큼 자체 model serving에 우선적으로 통합할 가능성이 높다.
- 오픈소스 diffusion LLM이 등장할 가능성이 있다. Meta와 Mistral, Qwen 같은 오픈소스 사업자들이 따라오지 않으면 agent framework의 기본 backend가 바뀔 수 있다.
불확실한 부분도 남아 있다. autoregressive 모델의 해자 요소인 RLHF와 inference-time scaling(o1과 o3 같은 방식)은 모두 autoregressive 모델을 기준으로 최적화되어 있다. diffusion 모델의 post-training이 충분히 성숙하지 않았다는 점도 해결해야 한다.
에디터의 분석
이번 모델이 이전의 diffusion 텍스트 모델과 다른 이유는 무엇일까? 판단하기로는 과거의 실패 사례들이 규모, 품질, 배포라는 세 조건 중 두 가지만 동시에 만족했기 때문이다. 규모는 확보했지만 품질이 autoregressive 모델에 미치지 못했거나, 품질은 충분했지만 production 트래픽을 감당하지 못했다.
Inception은 이번에 세 가지를 모두 달성했을 가능성이 높다. 다만 서술에 그치지 않고, 고객이 실제 비용을 지불하며 production 환경에서 사용하고 있다는 점이 중요한 검증이다.
slightly 다른 시각에서 보면 Mercury 3가 실질적으로 위협하는 대상은 GPT-5와 Claude 4.5 같은 차세대 autoregressive flagship만이 아니다. 위협받는 것은 autoregressive 방식 자체의 한계 이득이다. OpenAI와 Anthropic은 inference-time scaling을 점점 더 확대하고 있다. o1과 o3, thinking을 적용한 Claude처럼 품질을 높이는 대신 autoregressive 생성의 latency를 더 늘리는 접근이다. diffusion이 10분의 1의 latency로 90%의 품질을 달성한다면, '더 많은 compute를 소비해 더 좋은 답을 얻는다'는 선택지의 효율 자체가 추월당할 수 있다.
확인하지 못한 부분을 분명히 해야 한다.
- Mercury 3의 agent 이외 시나리오에서의 성능은 아직 알 수 없다. 긴 문맥, 복잡한 추론, 여러 차례의 대화를 다루는 benchmark 결과도 공개되지 않았다.
- Autoregressive 모델의 해자 요소도 여전히 남아 있다. RLHF와 thinking 같은 post-training 기술이 autoregressive 모델과 깊이 결합되어 있으며, diffusion 모델의 alignment는 아직 충분히 해결되지 않았다.
하지만 한 가지는 분명하다. 패러다임 경쟁이 본격적으로 표면에 올라왔다는 사실이다. Mercury 3는 '또 하나의 LLM'이 아니라 autoregressive 방식 밖의 두 번째 경로를 제품화한 사례다. 이 흐름은 GPT와 Claude가 아직 밝히지 못한 부분이다.
앞으로 12개월 동안 Mercury 3가 production 환경에서 안정적으로 작동하는지 주목할 필요가 있다. 성숙한다면 autoregressive 모델의 '기본 선택지'라는 지위를 다시 다뤄야 할 것이다.