Sander Dieleman 前幾天在個人部落格發了一篇新文章,標題是 Continuous Diffusion Language Models。用一句話說明:現有的 LLM 都是「一個字一個字猜」,他想把「字」這一步整個拿掉,直接在連續向量空間裡做擴散。
連結在這裡:sander.ai/2026/08/24/continuous-dlms.html。文章本身寫得相當技術性,但核心論點並不複雜。以下整理幾個讀完後值得討論的重點。
CDLM 與傳統 LLM 的根本差異
目前所有主流 LLM——GPT、Claude、Llama、Qwen——都遵循同一套流程:
- 把文本切成 token(通常使用 BPE 或 SentencePiece,詞表大小約 3 萬到 25 萬)
- 每個 token 映射成一個向量
- 模型以自迴歸方式預測下一個 token 的機率分佈
- 取樣一個 token,加入序列,重複上述步驟
這條 pipeline 有幾個根深柢固的假設:
- 詞表大小(vocab size)是超參數,需要權衡取捨
- 上下文長度(context length)受 attention 的 O(n²) 複雜度限制
- KV cache 能加速,是因為「一個字一個字」的生成順序
- 所有並行解碼的嘗試(Spec decoding、Medusa),都是在修補這個框架
CDLM 要做的,是把第 1 步和第 4 步一起換掉:不切 token,直接在一個連續向量空間裡做擴散生成。類似 Stable Diffusion 生成影像的方式——從高斯雜訊出發,反覆去噪,只是這裡的「雜訊」是連續向量序列,而不是影像像素。
Dieleman 在文章中解釋為什麼這不只是「另一種 diffusion」,而是框架層級的差異:tokenization 本身就是一種歸納偏置(inductive bias),它假設語言是離散的、可數的符號序列。一旦繞開這個假設,模型學到的表徵會不同,生成的自由度也會不同。
具體差多少,他沒給數字——下文會說明為什麼這是個大問題。
Sander Dieleman 是誰
寫部落格的人很多,但 Dieleman 並非隨便發文的類型。簡單介紹一下背景:
- 現職:OpenAI 研究科學家(2024 年從 DeepMind 轉職)
- 過去經歷:DeepMind 音訊組,主導 Gemini 1.5 的 multimodal embedding 工作
- YouTube:1.6 萬訂閱,做深度學習教學,品質在 ML 圈有口碑
- 代表論文:YouTube-8M 資料集、DeepMind 的音訊理解系列、Gemini 多模態相關
他在 Gemini 1.5 的 multimodal embedding 論文上有掛名,不是掛名性質,是實際負責 embedding 部分。這代表他對「如何把不同模態放進同一個向量空間」這件事,有第一手工程經驗。
CDLM 並非 hobby project。這個判斷要記住——下文會說明為什麼。
為什麼這次值得關注
單看這篇文章,其實沒有太多新東西——continuous diffusion 這個想法,圈內已討論一兩年。但三件事放在一起,訊號就很強:
- Diffusion 在影像/影片領域已被驗證可行。Stable Diffusion 3、Flux、Sora 全部是 continuous diffusion。模態不是問題,可行性已經證明。
- 離散擴散 LLM 已經有人在做。LLaDA(中國人民大學)、JieyuZ2 等團隊的工作,證明在「離散 token 空間做擴散」是可以訓練出來的——只是效果還打不過自迴歸。這是離散版的探索。
- 現在直接推進到「連續」。這是要繞過 tokenization 的根本限制。從離散擴散跨到連續擴散,等於把整個 loss 函數、取樣器、訓練 pipeline 都重寫——投入不小,不是「試試看」的態度。
三個訊號疊在一起,筆者傾向認為這是認真在推動一個方向,不是蹭 diffusion 的熱度。
而且 Dieleman 在文章中討論的不只是「能不能訓練」,而是「訓練出來之後生成會是什麼樣」——他對 sampling 過程的偏好、自由度,以及與 autoregressive 的根本差異做了論證。這並非那種「我看 diffusion 很紅我也來一篇」的論文。
現實問題:訓練成本與推理速度
老實說,這篇文章沒給數字。
部落格正文裡沒有 benchmark、沒有 loss 曲線、沒有對比實驗。HN 討論頁 item?id=49502611 上,目前 11 分、0 評論——社群幾乎還沒人復現,也沒有公開程式碼。
這代表兩件事:
- 短期難以落地。連續空間意味著 loss 函數、取樣器、訓練基礎設施幾乎全部要重寫。現有 GPU kernel(TensorRT-LLM、vLLM、FasterTransformer)都是為離散 token + autoregressive 最佳化。換框架等於從頭搭建基礎設施。
- 但長期可能是顛覆。如果訓練框架能壓到比自迴歸更便宜,局面就會改變。今天我們最佳化 KV cache、最佳化 FlashAttention、最佳化 speculative decoding,都是在「框架內」挖潛力。下一次框架遷移,這些最佳化可能全部失效。
Dieleman 自己也承認文章偏早期。他更多在論證「為什麼這條路值得走」,而非「我們已經走通了」。這是負責任的寫法——但也意味著讀者(包括筆者)現在下任何強烈結論都為時過早。
編輯思考
這篇真正有意思的不是「diffusion for text」這個新點子,而是「tokenization 可能不是必要的」這個論點。
如果連續擴散真的跑通,我們今天關於 vocab size、context length、KV cache、flash attention、speculative decoding 的所有最佳化,都會變成局部最佳解。每一個改 transformer 的工作,都是在修補一個本來可以繞過去的框架。
筆者的判斷是:這條路短期不會撼動 GPT/Claude 的地位。原因有三:
- 基礎設施債務太重。整個推理堆疊要重寫,誰先投入誰燒錢。
- 沒有評測基準。沒有像 MMLU 一樣大家公認的「連續擴散 LLM 評測」。
- 生態繫結。大量下游應用(prompt 工程、function calling、agent framework)都假設離散 token 介面。
但反共識的一點是:這條路如果真的跑通,框架遷移的代價比想像中大——不是因為新模型更強,而是因為舊生態的遷移成本巨大。今天我們以為的「基礎設施」,可能只是「自迴歸時代的鷹架」。下次框架遷移,不會從改進 transformer 開始,而會從繞過它開始。
不確定的地方:筆者沒看到任何實驗數據,所以「能不能訓練出來」本身還是個問號。Dieleman 的論證偏理論,工程實作可能踩坑的地方很多。但方向值得持續關注——尤其如果接下來 6 個月 OpenAI 內部有任何相關動作,訊號就會很明顯。