大型語言模型

CDLM 是什麼?連續擴散語言模型能否取代自迴歸架構

Sander Dieleman 提出連續擴散語言模型,跳過離散 token,直接在向量空間進行擴散。目前仍在早期階段,但值得持續關注後續發展。

字級

Sander Dieleman 前幾天在個人部落格發了一篇新文章,標題是 Continuous Diffusion Language Models。用一句話說明:現有的 LLM 都是「一個字一個字猜」,他想把「字」這一步整個拿掉,直接在連續向量空間裡做擴散。

連結在這裡:sander.ai/2026/08/24/continuous-dlms.html。文章本身寫得相當技術性,但核心論點並不複雜。以下整理幾個讀完後值得討論的重點。

CDLM 與傳統 LLM 的根本差異

目前所有主流 LLM——GPT、Claude、Llama、Qwen——都遵循同一套流程:

  1. 把文本切成 token(通常使用 BPE 或 SentencePiece,詞表大小約 3 萬到 25 萬)
  2. 每個 token 映射成一個向量
  3. 模型以自迴歸方式預測下一個 token 的機率分佈
  4. 取樣一個 token,加入序列,重複上述步驟

這條 pipeline 有幾個根深柢固的假設:

  • 詞表大小(vocab size)是超參數,需要權衡取捨
  • 上下文長度(context length)受 attention 的 O(n²) 複雜度限制
  • KV cache 能加速,是因為「一個字一個字」的生成順序
  • 所有並行解碼的嘗試(Spec decoding、Medusa),都是在修補這個框架

CDLM 要做的,是把第 1 步和第 4 步一起換掉:不切 token,直接在一個連續向量空間裡做擴散生成。類似 Stable Diffusion 生成影像的方式——從高斯雜訊出發,反覆去噪,只是這裡的「雜訊」是連續向量序列,而不是影像像素。

Dieleman 在文章中解釋為什麼這不只是「另一種 diffusion」,而是框架層級的差異:tokenization 本身就是一種歸納偏置(inductive bias),它假設語言是離散的、可數的符號序列。一旦繞開這個假設,模型學到的表徵會不同,生成的自由度也會不同。

具體差多少,他沒給數字——下文會說明為什麼這是個大問題。

Sander Dieleman 是誰

寫部落格的人很多,但 Dieleman 並非隨便發文的類型。簡單介紹一下背景:

  • 現職:OpenAI 研究科學家(2024 年從 DeepMind 轉職)
  • 過去經歷:DeepMind 音訊組,主導 Gemini 1.5 的 multimodal embedding 工作
  • YouTube:1.6 萬訂閱,做深度學習教學,品質在 ML 圈有口碑
  • 代表論文:YouTube-8M 資料集、DeepMind 的音訊理解系列、Gemini 多模態相關

他在 Gemini 1.5 的 multimodal embedding 論文上有掛名,不是掛名性質,是實際負責 embedding 部分。這代表他對「如何把不同模態放進同一個向量空間」這件事,有第一手工程經驗。

CDLM 並非 hobby project。這個判斷要記住——下文會說明為什麼。

為什麼這次值得關注

單看這篇文章,其實沒有太多新東西——continuous diffusion 這個想法,圈內已討論一兩年。但三件事放在一起,訊號就很強:

  1. Diffusion 在影像/影片領域已被驗證可行。Stable Diffusion 3、Flux、Sora 全部是 continuous diffusion。模態不是問題,可行性已經證明。
  2. 離散擴散 LLM 已經有人在做。LLaDA(中國人民大學)、JieyuZ2 等團隊的工作,證明在「離散 token 空間做擴散」是可以訓練出來的——只是效果還打不過自迴歸。這是離散版的探索。
  3. 現在直接推進到「連續」。這是要繞過 tokenization 的根本限制。從離散擴散跨到連續擴散,等於把整個 loss 函數、取樣器、訓練 pipeline 都重寫——投入不小,不是「試試看」的態度。

三個訊號疊在一起,筆者傾向認為這是認真在推動一個方向,不是蹭 diffusion 的熱度。

而且 Dieleman 在文章中討論的不只是「能不能訓練」,而是「訓練出來之後生成會是什麼樣」——他對 sampling 過程的偏好、自由度,以及與 autoregressive 的根本差異做了論證。這並非那種「我看 diffusion 很紅我也來一篇」的論文。

現實問題:訓練成本與推理速度

老實說,這篇文章沒給數字。

部落格正文裡沒有 benchmark、沒有 loss 曲線、沒有對比實驗。HN 討論頁 item?id=49502611 上,目前 11 分、0 評論——社群幾乎還沒人復現,也沒有公開程式碼。

這代表兩件事:

  • 短期難以落地。連續空間意味著 loss 函數、取樣器、訓練基礎設施幾乎全部要重寫。現有 GPU kernel(TensorRT-LLM、vLLM、FasterTransformer)都是為離散 token + autoregressive 最佳化。換框架等於從頭搭建基礎設施。
  • 但長期可能是顛覆。如果訓練框架能壓到比自迴歸更便宜,局面就會改變。今天我們最佳化 KV cache、最佳化 FlashAttention、最佳化 speculative decoding,都是在「框架內」挖潛力。下一次框架遷移,這些最佳化可能全部失效。

Dieleman 自己也承認文章偏早期。他更多在論證「為什麼這條路值得走」,而非「我們已經走通了」。這是負責任的寫法——但也意味著讀者(包括筆者)現在下任何強烈結論都為時過早。

編輯思考

這篇真正有意思的不是「diffusion for text」這個新點子,而是「tokenization 可能不是必要的」這個論點。

如果連續擴散真的跑通,我們今天關於 vocab size、context length、KV cache、flash attention、speculative decoding 的所有最佳化,都會變成局部最佳解。每一個改 transformer 的工作,都是在修補一個本來可以繞過去的框架。

筆者的判斷是:這條路短期不會撼動 GPT/Claude 的地位。原因有三:

  1. 基礎設施債務太重。整個推理堆疊要重寫,誰先投入誰燒錢。
  2. 沒有評測基準。沒有像 MMLU 一樣大家公認的「連續擴散 LLM 評測」。
  3. 生態繫結。大量下游應用(prompt 工程、function calling、agent framework)都假設離散 token 介面。

但反共識的一點是:這條路如果真的跑通,框架遷移的代價比想像中大——不是因為新模型更強,而是因為舊生態的遷移成本巨大。今天我們以為的「基礎設施」,可能只是「自迴歸時代的鷹架」。下次框架遷移,不會從改進 transformer 開始,而會從繞過它開始。

不確定的地方:筆者沒看到任何實驗數據,所以「能不能訓練出來」本身還是個問號。Dieleman 的論證偏理論,工程實作可能踩坑的地方很多。但方向值得持續關注——尤其如果接下來 6 個月 OpenAI 內部有任何相關動作,訊號就會很明顯。

來源: https://sander.ai/2026/08/24/continuous-dlms.html