거대 언어 모델

CDLM이 뭐길래? 연속 확산 언어 모델이 자기회귀를 대체할 수 있을까

Sander Dieleman이 제안한 연속 확산 언어 모델(CDLM)은 토큰화를 우회하고 연속 벡터 공간에서 직접 확산을 수행하는 방식이다. 아직 초기 단계지만, 기존 자기회귀 패러다임에 균열을 내는 신호로 주목할 만하다.

글자 크기

CDLM과 기존 LLM의 근본적 차이

현재主流 LLM — GPT, Claude, Llama, Qwen — 은 모두 동일한 방식으로 동작한다.

  1. 텍스트를 토큰으로 분할한다 (보통 BPE나 SentencePiece 사용, 어휘 크기는 3만~25만 사이).
  2. 각 토큰을 벡터로 매핑한다.
  3. 모델이 자기회귀적으로 다음 토큰의 확률 분포를 예측한다.
  4. 토큰 하나를 샘플링해 시퀀스에 추가하고, 반복한다.

이 파이프라인에는 몇 가지 깊이 뿌리박힌 가정이 존재한다.

  • 어휘 크기(vocab size)는 하이퍼파라미터이며, 트레이드오프가 필요하다.
  • 문맥 길이(context length)는 attention의 O(n²) 복잡도에 제약을 받는다.
  • KV cache가 동작하는 이유 자체가 "한 토큰씩 순서대로"라는 전제 덕분이다.
  • 병렬 디코딩 시도(spec decoding, Medusa 등) 전부 이 패러다임을 땜질하는 수준에 불과하다.

CDLM이 하는 일은 1번과 4번 단계를 한꺼번에 교체하는 것이다. 토큰으로 자르지 않고, 연속 벡터 공간에서 바로 확산 생성을 수행한다. Stable Diffusion이 이미지를 생성하는 방식과 유사하다. 가우시안 노이즈에서 출발해 반복적으로 디노이징하며, 차이는 그 "노이즈"가 이미지 픽셀이 아니라 연속 벡터 시퀀스라는 점이다.

Dieleman은 글에서 왜 이것이 "또 다른 diffusion"이 아닌 패러다임 차원 변화인지 설명한다. 토큰화 자체가 하나의 귀납적 편향(inductive bias)이다. 언어는 이산적이고 셀 수 있는 기호 시퀀스라는 가정. 이 가정을 우회하면 모델이 학습하는 표현도 달라지고, 생성의 자유도도 달라진다.

구체적으로 얼마나 다른지는 수치를 제시하지 않았다. 아래에서 왜 이것이 큰 문제인지 다룬다.

Sander Dieleman은 누구인가

블로그를 쓰는 사람은 많지만, Dieleman은 아무나 글을 올리는 사람이 아니다. 배경을 간단히 정리하면 다음과 같다.

  • 현재: OpenAI 연구 과학자 (2024년 DeepMind에서 이직).
  • 이전: DeepMind 오디오 팀에서 Gemini 1.5의 multimodal embedding 작업 주도.
  • YouTube: 구독자 1.6만, 딥러닝 튜토리얼 제작. ML 커뮤니티에서 품질로 정평이 나 있다.
  • 대표 논문: YouTube-8M 데이터셋, DeepMind 오디오 이해 시리즈, Gemini 멀티모달 관련.

그는 Gemini 1.5의 multimodal embedding 논문에 단순 이름만 올린 게 아니라, 실제로 embedding 부분을 직접 다뤘다. 즉 "서로 다른 모달리티를 동일한 벡터 공간에 어떻게 담을 것인가"에 대해 1차 엔지니어링 경험을 갖고 있다는 뜻이다.

CDLM은 취미 프로젝트가 아니다. 이 판단을 기억해 두자. 곧 그 이유를 설명한다.

왜 지금 이 주제를 주목해야 하는가

이 글 자체만 보면 새로울 것은 많지 않다. continuous diffusion이라는 아이디어는 이미 커뮤니티에서 1~2년 정도 논의되어 왔다. 그런데 세 가지 신호가 겹치면 무게가 생긴다.

  1. 이미지·영상에서 diffusion의 가능성이 이미 입증됐다. Stable Diffusion 3, Flux, Sora 모두 continuous diffusion이다. 모달리티 자체는 문제가 아니며, 실현 가능성은 이미 증명됐다.
  2. 이산 확산 LLM은 이미 진행 중이다. LLaDA(중국 인민대학교), JieyuZ2 등 팀의 작업을 보면 "이산 토큰 공간에서의 확산"도 학습이 된다. 다만 아직 자기회귀를 이기지는 못한다. 이산 버전의 탐색이 이미 존재한다는 뜻이다.
  3. 이제 곧장 "연속"으로 넘어간다. 토큰화라는 근본 제약을 우회하겠다는 시도다. 이산 확산에서 연속 확산으로 건너가는 것은 loss 함수, 샘플러, 학습 파이프라인을 통째로 다시 쓰는 작업이다. 투자가 만만치 않으며, "한번 해보자" 수준이 아니다.

세 가지 신호가 겹쳐서 이 방향을 진지하게 밀고 있다는 인상을 받는다. diffusion의 인기를 타려는蹭 열기 식 움직임은 아니다.

게다가 Dieleman이 글에서 다룬 내용은 "학습이 가능한가"만이 아니다. "학습 후 generation이 어떤 형태인가"까지 논한다. sampling 과정의 선호도, 자유도, 그리고 autoregressive와의 근본적 차이를 직접 논증한다. diffusion이 유행이라 한 편 찍어내겠다는 류의 글이 아니다.

현실적인 문제: 학습 비용과 추론 속도

솔직히 말하면, 이 글에는 수치가 없다.

블로그 본문에 benchmark도, loss 커브도, 비교 실험도 없다. HN 토론 페이지 item?id=49502611에서도 현재 11점, 0 댓글이다. 커뮤니티에서 아직 재현 시도조차 안 됐고 공개 코드도 없다.

이로부터 두 가지 사실이 따라온다.

  • 단기적으로는落地 어렵다. 연속 공간으로 가면 loss 함수, 샘플러, 학습 인프라를 거의 전부 새로 짜야 한다. 기존 GPU 커널(TensorRT-LLM, vLLM, FasterTransformer)은 모두 이산 토큰 + autoregressive에 최적화돼 있다. 패러다임을 바꾸면 인프라를 처음부터 다시 쌓아야 한다.
  • 하지만 장기적으로는 판을 뒤집을 수도 있다. 학습 패러다임이 자기회귀보다 저렴하게 안정화되는 순간, 판이 바뀐다. 지금 우리가 KV cache 최적화, FlashAttention 최적화, speculative decoding 최적화를 하는 건 모두 "패러다임 안에서" 성과를 긁어내는 일이다. 다음번 패러다임 이동이 일어나면 이런 최적화는 전부 무용지물이 될 수 있다.

Dieleman 본인도 글이 초기 단계임을 인정한다. 그가 주장하는 것은 "이 길을 가볼 만한 가치가 있다"이지 "이미 길을 다 끝냈다"가 아니다. 책임감 있는 글쓰기다. 그러나 동시에 독자(나 포함)가 강한 결론을 지금 내리기엔 이르다는 뜻이기도 하다.

편집자의 생각

이 글에서 진짜 흥미로운 부분은 "diffusion for text"라는 새 아이디어가 아니다. 핵심은 "토큰화는 필수가 아닐 수 있다"라는 주장이다.

연속 확산이 먹히기 시작하면, 오늘 우리가 vocab size, context length, KV cache, FlashAttention, speculative decoding에 매달려 만든 최적화는 전부 국소 최적해가 된다. transformer를 조금씩 고치는 모든 작업은 사실 애초에 우회할 수 있었던 패러다임을 땜질하는 셈이다.

내 판단은 이렇다. 단기적으로 GPT/Claude의 위치를 흔들기는 어렵다. 이유는 세 가지다.

  1. 인프라 부채가 너무 크다. 추론 스택 전체를 다시 짜야 하니, 먼저 뛰어드는 쪽이 먼저 돈을 태운다.
  2. 평가 기준이 없다. MMLU처럼 "연속 확산 LLM" 표준으로 합의된 벤치마크가 존재하지 않는다.
  3. 생태계 종속. 프롬프트 엔지니어링, function calling, agent framework 같은 다운스트림 애플리케이션 대부분이 이산 토큰 인터페이스를 전제로 설계돼 있다.

반대로 합의에 반하는 포인트가 하나 있다. 이 길이 정말로 뚫리면 패러다임 이동의 비용은 생각보다 훨씬 크다. 새 모델이 더 강해서가 아니라, 기존 생태계의 이전 비용이 막대해서 그렇다. 오늘 우리가 "인프라"라고 부르는 것들이 사실은 "자기회귀 시대의 비계"였을 뿐일 수 있다. 다음 패러다임 이동은 transformer를 개선하는 데서 시작하지 않을 것이다. transformer를 우회하는 데서 시작할 것이다.

불확실한 지점: 실험 데이터를 단 하나도 보지 못했기에 "학습이 가능한가" 자체가 아직 미지수다. Dieleman의 논증은 이론에 치우쳐 있고, 엔지니어링 구현 과정에서 걸릴 수 있는 함정이 많을 것이다. 그래도 방향 자체는 주시할 가치가 있다. 특히 향후 6개월 안에 OpenAI 내부에서 관련 움직임이 나오면, 신호가 명확해진다.

출처: https://sander.ai/2026/08/24/continuous-dlms.html