大規模言語モデル

Tokenizer からの脱却:Nature 論文が LLM をバイト単位で再構築する

Nature に掲載された最新研究は、既存モデルの再学習なしに LLM をバイトレベルへ変換する手法を提案している。Tokenizer 廃止は実現するのか、業界はどこへ向かうのか。

文字サイズ

Tokenizer は LLM の「暗黙のルール」だった。誰も使うが、公に疑う人はいなかった。その状況を変えたのが、Nature に先週掲載された論文だ。

Training large language models directly on bytes, without retraining

この論文の試みは大胆だ。すでに学習済みの token レベル LLM を、事前学習済み重みを変更せずにバイト列を直接入力できる形に変換する。过去に誰も着手しなかった領域への挑戦である。

この論文は何を実現したのか

核心は retrofit(既存モデルの改造)であり、ゼロからの事前学習ではない。この違いが重要な意味を持つ。

これまでのバイトレベル手法——ByT5、MegaByte、CANINE——には共通の課題があった。事前学習をやり直す必要があることだ。GPT-4 クラスのモデル学習費は 1 億ドルを超え、「バイト方式を試す」ためだけにその投資を賭けるベンダーはいなかった。

Nature 論文のアプローチは、既存モデルに byte-level adapter を追加し、元モデルのパラメータは凍結して新規モジュールだけを学習するというものだ。トレードオフは明確で、以下のとおり。

  • 事前学習が不要になり、コストが桁違いに下がる
  • ただし adapter パラメータの小規模ファインチューニングは必要
  • 出力品質はネイティブ token モデルよりわずかに低く、差は 1〜2% 程度

論文の実験結果では、複数ベンチマークで元モデルの約 98% の性能を維持しながら、バイトレベルモデルの利点をすべて獲得できたと報告されている。

なぜ Tokenizer 問題が今 Nature に掲載されたのか

BPE/WordPiece といったサブワード分割方式は長年使われてきたが、蓄積された欠点も無視できなくなっている。

OOV 問題。理論上 BPE には語彙外単語がないが、実際には emoji、難読漢字、珍しい固有名詞に遭遇すると、分割結果が単一バイトや意味不明な断片になり、モデルが正しく解釈できないケースが多い。

言語間の不公平性。英語は 1 token あたり平均 4 文字を承载するが、中国語は 1.5 文字程度、一部の言語では 1 文字未満。同じコーパス量でも、中国語の学習効果は構造的に不利になる。Tokenizer が足を引っ張る構図だ。

特殊記号の崩壊。@、#、URL、コード片は tokenizer にとって「雑物」であり、理解不能な断片に分割されることが多い。GitHub Copilot のヘビーユーザーなら、超長 URL の理解がたびたび破綻する経験をしたことがあるはずだ。

エンジニアリング負債。各モデルベンダーは自社専用の special token リストを保守しており、<|endoftext|>、<|image|>、<|tool_call|> といった要素を管理するのは煩雑で、ファインチューニング中にうっかり互換性を壊す事故も起きやすい。

Nature のようなトップジャーナルが純粋な NLP エンジニアリング改良を掲載するのは異例だ。それが掲載されたということは、バイトレベルというテーマが「研究者の興味」から「主流の承認」へ移行し始めたことを意味する。

Hacker News では議論が停滞している

この論文は Hacker News で 23 ポイント・コメント 0 件という状態だ。23 ポイントは初期読者が品質を認めていることを示し、コメント 0 件は大半が論文を読み進めており議論が形成されていないことを示す。

ただし、技術的には明確なボトルネックがある。バイトレベル推論でのシーケンス長爆発だ。

具体的に計算してみる。

  • 英字 4 文字 = 1 token(BPE 典型値)
  • 同じ 4 文字 = 12〜16 バイト(UTF-8)
  • シーケンス長が 3〜4 倍に膨張
  • KV cache も比例して増大
  • メモリは線形に増加し、attention は O(n²)

100K token のコンテキストウィンドウは、バイトレベルでは 300〜400K byte シーケンスになる。H100 での推論コストは直接 4 倍に跳ね上がり、レイテンシもそれに連動する。

バイトレベルモデルは現時点で本番運用に耐える長文コンテキストを処理できない。論文では短文ベンチマークのみが提示されており、長文コンテキストでの性能はコミュニティによる再現検証を待つ必要がある。

主要モデルベンダー 4 社、誰が追随するか

主要モデルベンダー 4 社の状況を整理した。

Anthropic。Claude シリーズの tokenizer は一貫して保守的だが、社内で BPE 改造(語彙サイズ変更、特殊トークン設計変更)の実績がある。バイトレベルへの関心は最も高いはずで、retrofit がもたらすエンジニアリング負荷も社内文化が許容できる範囲だろう。6〜12 か月以内に追随する可能性が最高い。

Google。Gemini チームの tokenizer チームは業界最強であり、SentencePiece を生み出したのも彼らだ。byte-level adapter は彼らにとって「既存ツールの新しい使い方」に過ぎない。追随確率は 60〜70%。

OpenAI。GPT-5 のアーキテクチャ詳細は非公開で、OpenAI はまず安定版を優先するだろう。バイトレベル改造は GPT-5.5 または GPT-6 に持ち越される可能性が高い。短期的な追随確率は低い。

Meta。Llama 4 はマルチモーダルネイティブ路線を採用しており、tokenizer 問題はマルチモーダル統一表現の層に押し上げられている。Meta は当面、URL やコード専用の前処理モジュールといったプラグイン的な対処を優先し、全体的なバイトレベル改造には踏み込まない可能性が高い。

反主流の予測:バイトレベルは終着点ではなく、Tokenizer は別の姿で戻る

私の見立ては主流と異なる。バイトレベルは終着点ではなく、過渡的な解決策だと考えている。

理由は単純だ。バイトレベルは「入力側」の問題を解決するが、「出力側」は依然として地獄のままだからだ。

バイトレベル生成には以下の問題が伴う。

  • 毎秒の出力バイト数が大幅に低下し、ユーザー体験が悪化
  • 長文生成で constrained decoding が機能しない
  • コード生成では構造化出力(JSON、コードブロック)が事実上不可能になる

出力側には何らかの集約単位が不可欠だ。character でも byte でもなく、「learned patch」のような中間形態が必要になる。1〜2 年以内に次のような研究が登場すると予測している。

Learned byte-level patch:byte と token の中間に位置する形態で、モデル自身が隣接するバイトを意味のある patch に集約する方法を学習する。

これは「分割」を前処理からモデル内部へ移動させ、動的に決定する仕組みだ。NVIDIA、Anthropic、xAI のいずれかから最初に関連研究が発表されるだろう。

編集部の考察

なぜこのニュースが重要なのか。それは「Tokenizer が終わる」ことではなく、5 年間当然視されてきたアーキテクチャ選択が Nature クラスのトップジャーナルで初めて正式に疑われた点にある。LLM アーキテクチャの再考を促すシグナルだ。

反主流の視点として、主流の物語は「バイトレベルが未来」だが、私はバイトレベルが早晚「出力側」の壁にぶつかると考える。真の終着点はモデル自身が分割を学習する形だ。BPE のような静的な規則でもなく、純粋なバイト列でもなく、dynamic learned patch である。これが成熟するのは早くても 2027 年だろう。

今回の試みが過去の取り組みと決定的に違う点は何か。ByT5(2021)、MegaByte(2023)、CANINE(2021)はいずれもバイトレベル方式だが、BPE を揺るがすには至らなかった。違いは、Nature による承認と retrofit によるコスト圧縮により、バイトレベルがはじめて「研究デモ」から「エンジニアリング選択肢」に移行したことだ。ただし HN で 23 ポイント・コメント 0 件という状況は、工業界がまだ消化しきっていないことを示しており、すぐに爆発的に普及するわけではない。

不確実な点として、100K 以上の長文コンテキストにおけるバイトレベルの性能は論文にデータがない。この部分が期待外れであれば、バイトレベルは短期的に本番運用に進出できず、議論は下火になるだろう。

出典: https://www.nature.com/articles/s41586-026-11111-4