大模型

CDLM 是什么?连续扩散语言模型能不能替代自回归

Sander Dieleman 提出连续扩散语言模型:跳过离散 token,直接在向量空间做扩散。还在早期,但值得盯。

字号

Sander Dieleman 前几天在个人博客发了一篇新文章,标题是 Continuous Diffusion Language Models。一句话说清:现在的 LLM 都是「一个字一个字猜」,他想把「字」这一步整个去掉,直接在连续向量空间里做扩散。

链接在这:sander.ai/2026/08/24/continuous-dlms.html。文章本身写得很技术,但核心论点不复杂。下面把我读完之后觉得值得讲的几个点整理一下。

CDLM 和传统 LLM 的根本区别

现在所有主流 LLM——GPT、Claude、Llama、Qwen——都是同一个套路:

  1. 把文本切成 token(通常用 BPE 或 SentencePiece,词表大小 3 万到 25 万不等)
  2. 每个 token 映射成一个向量
  3. 模型自回归地预测下一个 token 的概率分布
  4. 采样一个 token,加进序列,重复

这条 pipeline 有几个根深蒂固的假设:

  • 词表大小(vocab size)是个超参,要权衡
  • 上下文长度(context length)受 attention 的 O(n²) 限制
  • KV cache 之所以能加速,正是因为「一个字一个字」这个顺序
  • 任何并行解码的尝试(Spec decoding、Medusa),都是在补丁这个范式

CDLM 做的事情,是把第 1 步和第 4 步一起换掉:不切 token,直接在一个连续向量空间里做扩散生成。类似 Stable Diffusion 生成图像的方式——从一个高斯噪声出发,迭代去噪,只不过这里的「噪声」是连续向量序列,而不是图像像素。

Dieleman 在文章里解释为什么这不是「另一种 diffusion」,而是范式层面不同:tokenization 本身是一个归纳偏置(inductive bias),它假设语言是离散的、可数的符号序列。一旦绕开这个假设,模型学到的表征会不一样,生成的自由度也不一样。

具体差多少,他没给数字——下面会说为什么这是个大问题。

Sander Dieleman 这个人是谁

写 blog 的人很多,但 Dieleman 不是随便发 blog 的那种人。简单介绍一下背景:

  • 现在:OpenAI 研究科学家(2024 年从 DeepMind 跳过去)
  • 之前:DeepMind 音频组,主导 Gemini 1.5 的 multimodal embedding 工作
  • YouTube:1.6 万订阅,做深度学习教程,质量在 ML 圈有口碑
  • 代表论文:YouTube-8M 数据集、DeepMind 的音频理解系列、Gemini 多模态相关

他在 Gemini 1.5 的 multimodal embedding paper 上署名,不是挂名,是真做了 embedding 那一块。这意味着他对「如何把不同模态放进同一个向量空间」这件事,有第一手工程经验。

CDLM 不是 hobby project。这个判断要记住——下面讲为什么。

为什么这次值得关注

单看这篇文章,其实没多少新东西——continuous diffusion 这个想法,圈内已经讨论过一两年。但三件事放在一起,信号就强了:

  1. Diffusion 在图像 / 视频上已经验证可行。 Stable Diffusion 3、Flux、Sora,全部是 continuous diffusion。模态不是问题,可行性已经证明。
  2. 离散扩散 LLM 已经有人在做。 LLaDA(中国人民大学)、JieyuZ2 等团队的工作,证明在「离散 token 空间做扩散」是能训出来的——只是效果还打不过自回归。这是离散版的探索。
  3. 现在直接推到「连续」。 这是要绕过 tokenization 的根本限制。从离散扩散跨到连续扩散,等于把整个 loss 函数、采样器、训练 pipeline 都重写一遍——投入不小,不是「试试看」的态度。

三个信号叠在一起,我倾向于认为这是认真在推一个方向,不是蹭 diffusion 的热度。

而且 Dieleman 在文章里讨论的不只是「能不能训」,而是「训出来之后 generation 是什么样」——他对 sampling 过程的偏好、自由度、和 autoregressive 的根本区别做了论证。这不是那种「我看 diffusion 火我也来一篇」的论文。

现实问题:训练成本和推理速度

老实说,这篇文章没给数字。

博客正文里没有 benchmark、没有 loss 曲线、没有对比实验。HN 讨论页 item?id=49502611 上,目前 11 个分、0 评论——社区基本还没人复现,也没有公开代码。

这意味着两件事:

  • 短期难落地。 连续空间意味着 loss 函数、采样器、训练 infra 几乎全部要重写。现有 GPU kernel(TensorRT-LLM、vLLM、FasterTransformer)都是为离散 token + autoregressive 优化的。换范式 = 从头搭 infra。
  • 但长期可能是颠覆。 如果训练范式能压到比自回归便宜,事情就变了。今天我们优化 KV cache、优化 FlashAttention、优化 speculative decoding,都是在「范式内」挖潜。下次范式迁移,这些优化可能全部作废。

Dieleman 自己也承认文章偏早期。他更多是在论证「为什么这条路值得走」,而不是「我们已经走通了」。这是负责任的写法——但也意味着读者(包括我)现在下任何强结论都为时过早。

编辑思考

这篇真正有意思的不是「diffusion for text」这个新点子,而是「tokenization 可能不是必须的」这个论点。

如果连续扩散跑通,我们今天关于 vocab size、context length、KV cache、flash attention、speculative decoding 的所有优化,都会变成局部最优。每一个改 transformer 的工作,都是在补丁一个本来可以绕过去的范式。

我的判断是:这条路短期不会撼动 GPT/Claude 的地位。原因有三:

  1. infra 债太重。 整个推理栈要重写,谁先投入谁烧钱
  2. 没有评测基准。 没有像 MMLU 一样大家公认的「连续扩散 LLM 评测」
  3. 生态绑定。 大量下游应用(prompt 工程、function calling、agent framework)都假设离散 token 接口

但反共识的一点是:这条路如果真的跑通,范式迁移的代价比想象中大——不是因为新模型更强,而是因为旧生态的迁移成本巨大。今天我们以为的「基础设施」,可能只是「自回归时代的脚手架」。下次范式迁移,不会从改进 transformer 开始,会从绕过它开始。

不确定的地方:我没看到任何实验数据,所以「能不能训出来」本身还是个问号。Dieleman 的论证偏理论,工程实现可能踩坑的地方很多。但方向是值得盯的——尤其如果接下来 6 个月 OpenAI 内部有任何相关动作,信号就明显了。

来源: https://sander.ai/2026/08/24/continuous-dlms.html