Sander Dieleman氏が数日前に個人ブログに新しい記事を投稿した。タイトルは Continuous Diffusion Language Models。一言でまとめると、現状のLLMは「一文字ずつ予測する」方式だが、彼は「文字」というステップを丸ごと取り除き、連続ベクトル空間上で直接拡散を行おうという提案だ。
リンクはこちら:sander.ai/2026/08/24/continuous-dlms.html。記事自体は非常に技術的だが、中心的な論点は複雑ではない。以下では、读完後に值得讲的几个点を整理する。
CDLMと従来型LLMの根本的な違い
現在主流となっているLLM——GPT、Claude、Llama、Qwen——は全て同じアプローチに従っている:
- テキストをtokenに分割する(通常はBPEやSentencePieceを使用、語彙サイズは3万〜25万程度)
- 各tokenをベクトルにマッピングする
- モデルは自己回帰的に次のtokenの確率分布を予測する
- tokenをサンプリングして系列に加え、繰り返す
このパイプラインには、いくつかの根深い前提がある:
- 語彙サイズ(vocab size)はハイパーパラメータであり、トレードオフが必要
- コンテキスト長(context length)はattentionのO(n²)制約を受ける
- KV cacheが高速化できるのは、まさに「一文字ずつ」という順序のおかげ
- 並列デcodingの試み(Spec decoding、Medusaなど)は全て、このパラダイムに対するパッチワークに過ぎない
CDLMが行うのは、ステップ1とステップ4を同時に置き換えることだ:tokenに切らず、連続ベクトル空間上で直接拡散生成を行う。Stable Diffusionが画像を生成する方式と似ている——ガウスノイズから始めて反復的にノイズ除去を行う。ただしここでの「ノイズ」は画像ピクセルではなく、連続ベクトル系列である。
Dieleman氏は記事の中で、これが「別のdiffusion」ではなくパラダイムレベルで異なると説明している:token化自体が帰納バイアス(inductive bias)であり、言語が離散的で可算な記号系列であるという仮定を置いている。この仮定を回避すれば、モデルが学ぶ表現も、生成の自由度も変わる。
具体的にどの程度違うのか、数字は示されていない——後述するが、これ自体が大きい問題だ。
Sander Dieleman氏とは誰か
ブログを書く人は多いが、Dieleman氏は適当にブログを書くタイプではない。簡単な経歴:
- 現在:OpenAIのリサーチサイエンティスト(2024年にDeepMindから移籍)
- 過去:DeepMindのオーディオチームで、Gemini 1.5のmultimodal embeddingを主導
- YouTube:購読者1.6万人、深層学習のチュートリアルを公開、ML界隈で品質に定評あり
- 代表論文:YouTube-8Mデータセット、DeepMindのオーディオ理解シリーズ、Geminiマルチモーダル関連
彼はGemini 1.5のmultimodal embedding paperに共著者として名を連ねているが、単なる名義貸しではなく、embedding部分を実際に担当している。これは「異なるモダリティを同一ベクトル空間に格納する方法」について、第一線のエンジニアリング経験を持つことを意味する。
CDLMは趣味のプロジェクトではない。この点は覚えておいてほしい——後述する。
なぜ今回值得关注なのか
記事単体を見れば、目新しいことは実はあまりない——continuous diffusionというアイデアは、界隈でここ1〜2年議論されてきた。ただし、以下の3点が重なると、信号の強さが増す:
- Diffusionは画像/動画ですでに検証済み。Stable Diffusion 3、Flux、Soraは全てcontinuous diffusion。モダリティの問題ではなく、実現可能性はすでに証明されている。
- 離散拡散LLMはすでに存在する。LLaDA(中国人民大学)やJieyuZ2などの研究チームの成果により、「離散token空間での拡散」は学習可能であることが示されている——ただし性能はまだ自己回帰に及ばない。これは離散版の探索段階だ。
- 今回は一気に「連続」に踏み込む。これはtoken化の根本的な制約を回避しようとするものだ。離散拡散から連続拡散へ移ることは、loss関数・サンプラー・学習パイプラインを全て書き換えることに等しい——軽い気持ちでやる規模ではない。
3つの信号が重なると、これは本気で方向性を推し進めていると判断できる。単なるdiffusionバズに乗ったわけではない。
さらにDieleman氏は記事中で、「学習できるか」だけでなく「学習後に生成がどう変わるか」についても論じている。sampling過程の選好、自由度、自己回帰との根本的な違いについて理論的根拠を示している。これは「diffusionが流行っているから自分も一篇書こう」という類のものではない。
現実的な問題:学習コストと推論速度
正直に言えば、この記事に数字はない。
ブログ本文にはbenchmarkもloss曲線も比較実験も存在しない。HNの議論ページitem?id=49502611でも、現時点では11ポイント・コメント0で——コミュニティはまだ誰も再現しておらず、公開コードもない。
これは次の2つを意味する:
- 短期的な実用化は困難。連続空間への移行は、loss関数・サンプラー・学習インフラをほぼ全て書き換えることを意味する。既存のGPUカーネル(TensorRT-LLM、vLLM、FasterTransformer)は全て離散token + 自己回帰に最適化されている。パラダイムを換える=インフラを一から構築する。
- しかし長期的には破壊的になり得る。もし学習のパラダイムを自己回帰より安価にできれば、状況は一変する。今日我々がKV cache、FlashAttention、speculative decodingを最適化しているのは、全て「パラダイムの内側」での改善だ。次回のパラダイム移行が起きれば、これらの最適化は全て無意味化する可能性がある。
Dieleman氏自身も記事はやや早期段階だと認めている。彼が主に論じているのは「なぜこの道を追求する価値があるのか」であって、「すでに到達した」ではない。これは責任ある記述だ——ただしそれゆえに、読者(私も含め)が現時点で強い結論を出すのは時期尚早ということでもある。
編集部の見解
この記事で本当に興味深いのは、「diffusion for text」という新しい切り口ではなく、「token化は必ずしも必要ないかもしれない」という論点だ。
もし連続拡散が機能すれば、今日我々が積み上げてきたvocab size、context length、KV cache、FlashAttention、speculative decodingに関する全ての最適化は、局所最適解になる。transformerを改良するあらゆる研究は、本来迂回できるはずのパラダイムに対するパッチに過ぎなかったということになる。
私の判断はこうだ:この路線は短期的にGPT/Claudeの地位を揺るがすことはない。理由は3つ:
- インフラ負債が重すぎる。推論スタック全体を書き換える必要があり、先行者利益はすなわち先行者負担
- 評価ベンチマークがない。MMLUのように誰でも認める「連続拡散LLMの評価指標」が存在しない
- エコシステムへの依存。大多数の下流アプリケーション(prompt engineering、function calling、agent framework)は離散tokenインターフェースを前提としている
ただし逆張り視点としては:この路線が本当に機能した場合、パラダイム移行のコストは想像以上に大きい——新モデルがより強力だからではなく、旧エコシステムの移行コストが膨大だから。我々が今日「インフラ」と呼んでいるものは、実は「自己回帰時代の仮設足場」に過ぎない可能性がある。次回のパラダイム移行は、transformerの改善から始まるのではなく、transformerの迂回から始まる。
不確実な点:実験データを一切確認できていないため、「そもそも学習可能か」自体がまだ疑問符つきだ。Dieleman氏の論証は理論寄りで、工学的実装でつまずくポイントは多数あるだろう。ただ方向性として值得注目——特に今後6ヶ月以内にOpenAI内部で関連する動きがあれば、信号は明確になる。