Sander Dieleman 前几天在个人博客发了一篇新文章,标题是 Continuous Diffusion Language Models。一句话说清:现在的 LLM 都是「一个字一个字猜」,他想把「字」这一步整个去掉,直接在连续向量空间里做扩散。
链接在这:sander.ai/2026/08/24/continuous-dlms.html。文章本身写得很技术,但核心论点不复杂。下面把我读完之后觉得值得讲的几个点整理一下。
CDLM 和传统 LLM 的根本区别
现在所有主流 LLM——GPT、Claude、Llama、Qwen——都是同一个套路:
- 把文本切成 token(通常用 BPE 或 SentencePiece,词表大小 3 万到 25 万不等)
- 每个 token 映射成一个向量
- 模型自回归地预测下一个 token 的概率分布
- 采样一个 token,加进序列,重复
这条 pipeline 有几个根深蒂固的假设:
- 词表大小(vocab size)是个超参,要权衡
- 上下文长度(context length)受 attention 的 O(n²) 限制
- KV cache 之所以能加速,正是因为「一个字一个字」这个顺序
- 任何并行解码的尝试(Spec decoding、Medusa),都是在补丁这个范式
CDLM 做的事情,是把第 1 步和第 4 步一起换掉:不切 token,直接在一个连续向量空间里做扩散生成。类似 Stable Diffusion 生成图像的方式——从一个高斯噪声出发,迭代去噪,只不过这里的「噪声」是连续向量序列,而不是图像像素。
Dieleman 在文章里解释为什么这不是「另一种 diffusion」,而是范式层面不同:tokenization 本身是一个归纳偏置(inductive bias),它假设语言是离散的、可数的符号序列。一旦绕开这个假设,模型学到的表征会不一样,生成的自由度也不一样。
具体差多少,他没给数字——下面会说为什么这是个大问题。
Sander Dieleman 这个人是谁
写 blog 的人很多,但 Dieleman 不是随便发 blog 的那种人。简单介绍一下背景:
- 现在:OpenAI 研究科学家(2024 年从 DeepMind 跳过去)
- 之前:DeepMind 音频组,主导 Gemini 1.5 的 multimodal embedding 工作
- YouTube:1.6 万订阅,做深度学习教程,质量在 ML 圈有口碑
- 代表论文:YouTube-8M 数据集、DeepMind 的音频理解系列、Gemini 多模态相关
他在 Gemini 1.5 的 multimodal embedding paper 上署名,不是挂名,是真做了 embedding 那一块。这意味着他对「如何把不同模态放进同一个向量空间」这件事,有第一手工程经验。
CDLM 不是 hobby project。这个判断要记住——下面讲为什么。
为什么这次值得关注
单看这篇文章,其实没多少新东西——continuous diffusion 这个想法,圈内已经讨论过一两年。但三件事放在一起,信号就强了:
- Diffusion 在图像 / 视频上已经验证可行。 Stable Diffusion 3、Flux、Sora,全部是 continuous diffusion。模态不是问题,可行性已经证明。
- 离散扩散 LLM 已经有人在做。 LLaDA(中国人民大学)、JieyuZ2 等团队的工作,证明在「离散 token 空间做扩散」是能训出来的——只是效果还打不过自回归。这是离散版的探索。
- 现在直接推到「连续」。 这是要绕过 tokenization 的根本限制。从离散扩散跨到连续扩散,等于把整个 loss 函数、采样器、训练 pipeline 都重写一遍——投入不小,不是「试试看」的态度。
三个信号叠在一起,我倾向于认为这是认真在推一个方向,不是蹭 diffusion 的热度。
而且 Dieleman 在文章里讨论的不只是「能不能训」,而是「训出来之后 generation 是什么样」——他对 sampling 过程的偏好、自由度、和 autoregressive 的根本区别做了论证。这不是那种「我看 diffusion 火我也来一篇」的论文。
现实问题:训练成本和推理速度
老实说,这篇文章没给数字。
博客正文里没有 benchmark、没有 loss 曲线、没有对比实验。HN 讨论页 item?id=49502611 上,目前 11 个分、0 评论——社区基本还没人复现,也没有公开代码。
这意味着两件事:
- 短期难落地。 连续空间意味着 loss 函数、采样器、训练 infra 几乎全部要重写。现有 GPU kernel(TensorRT-LLM、vLLM、FasterTransformer)都是为离散 token + autoregressive 优化的。换范式 = 从头搭 infra。
- 但长期可能是颠覆。 如果训练范式能压到比自回归便宜,事情就变了。今天我们优化 KV cache、优化 FlashAttention、优化 speculative decoding,都是在「范式内」挖潜。下次范式迁移,这些优化可能全部作废。
Dieleman 自己也承认文章偏早期。他更多是在论证「为什么这条路值得走」,而不是「我们已经走通了」。这是负责任的写法——但也意味着读者(包括我)现在下任何强结论都为时过早。
编辑思考
这篇真正有意思的不是「diffusion for text」这个新点子,而是「tokenization 可能不是必须的」这个论点。
如果连续扩散跑通,我们今天关于 vocab size、context length、KV cache、flash attention、speculative decoding 的所有优化,都会变成局部最优。每一个改 transformer 的工作,都是在补丁一个本来可以绕过去的范式。
我的判断是:这条路短期不会撼动 GPT/Claude 的地位。原因有三:
- infra 债太重。 整个推理栈要重写,谁先投入谁烧钱
- 没有评测基准。 没有像 MMLU 一样大家公认的「连续扩散 LLM 评测」
- 生态绑定。 大量下游应用(prompt 工程、function calling、agent framework)都假设离散 token 接口
但反共识的一点是:这条路如果真的跑通,范式迁移的代价比想象中大——不是因为新模型更强,而是因为旧生态的迁移成本巨大。今天我们以为的「基础设施」,可能只是「自回归时代的脚手架」。下次范式迁移,不会从改进 transformer 开始,会从绕过它开始。
不确定的地方:我没看到任何实验数据,所以「能不能训出来」本身还是个问号。Dieleman 的论证偏理论,工程实现可能踩坑的地方很多。但方向是值得盯的——尤其如果接下来 6 个月 OpenAI 内部有任何相关动作,信号就明显了。