大型語言模型

Nature 最新研究:直接跳過 Tokenizer,把 LLM 架在位元組上

Tokenizer 一直是 LLM 默默遵循的潛規則,Nature 新論文想把它整個拆掉——不重新預訓練、直接改造現有模型。誰會率先跟進,以及這個方向真正的瓶頸在哪。

字級

Tokenizer 一直是 LLM 的「潛規則」——大家都在用,卻從沒人公開質疑。直到 Nature 上週刊出這篇:

Training large language models directly on bytes, without retraining

它的目標相當激進:把一個已經訓練好的 token 級 LLM,不改動預訓練權重,直接改成吃位元組序列。這件事過去沒人敢嘗試。

這篇論文到底做了什麼

核心方法是 retrofit(改造現有模型),而非從頭預訓練。這一點非常關鍵。

過去所有位元組級方案——ByT5、MegaByte、CANINE——都有同一個毛病:你得重新跑一遍預訓練。GPT-4 等級的模型訓練一次動輒上億美元,沒人願意為了「試試看位元組」賭上這筆開銷。

Nature 這篇的思路是:在既有模型上疊一層 byte-level adapter,凍結原模型參數,只訓練新插入的模組。核心權衡很清楚:

  • 不用重新跑預訓練,改造成本降一個量級
  • 但需要小規模微調 adapter 參數
  • 輸出品質比原生 token 模型略低,差距落在 1–2% 區間

論文提供的數據:在多項標準 benchmark 上,改造後的模型達到原模型約 98% 的效能,但同時拿到位元組級模型的全部好處。

為什麼 Tokenizer 這個老問題現在才被 Nature 接住

BPE / WordPiece 這套子詞切分方案用了多年,問題也累積得夠多了:

OOV 問題。理論上 BPE 沒有 out-of-vocabulary,實際上碰到 emoji、罕見字、稀有專有名詞時,切出來的 token 常常是單一位元組或亂碼片段,模型根本理解不來。

多語言不平等。英文文本每個 token 平均承載 4 個字元,中文只有 1.5,某些語言甚至不到 1。同樣的語料量下,中文的訓練效果天然吃虧——tokenizer 在幫倒忙。

特殊符號亂碼。@、#、URL、程式碼片段在 tokenizer 眼中是「雜物」,經常被切成難以理解的亂碼片段。GitHub Copilot 的老用戶應該很有感:它對超長 URL 的理解經常當機。

工程債。每家模型廠都維護自己的 special token 列表——<|endoftext|>、<|im_start|>、<|eot_id|>——這套東西維護起來煩得要命,微調時稍有不慎就破壞相容性。

Nature 這種頂刊通常不收純 NLP 工程改造的論文。這次收了,意義不同:位元組級這件事開始從「民間研究」進入「主流認可」。

HN 上,討論卡在哪裡

這篇論文在 Hacker News 上 23 分、0 則留言。23 分代表早期讀者認可品質,0 則留言則代表大部分人還在讀論文,尚未形成討論。

但技術層面的卡點非常明確:位元組級推論的序列長度爆炸。

算一筆帳:

  • 4 個英文字元 = 1 個 token(典型 BPE)
  • 同樣 4 個字元 = 12–16 個位元組(UTF-8)
  • 序列長度膨脹 3–4 倍
  • KV cache 直接翻好幾倍
  • 顯存線性成長,attention 是 O(n²)

一個 100K token 的上下文窗口,換成位元組級後變成 300–400K byte 序列。在 H100 上推論的成本直接漲 4 倍,延遲也跟著拉高。

位元組級模型目前還撐不起生產級的長上下文。論文裡只給了短文本 benchmark,長上下文的表現還得等社群復現。

三家頭部模型廠,誰最可能跟進

我盤了一下三家頭部模型廠的處境:

Anthropic。Claude 系列的 tokenizer 一直偏保守,但 Anthropic 內部有過 BPE 改造的前例(改過 vocab size、改過特殊 token 設計)。他們對位元組級的興趣應該最大,工程文化也消化得了 retrofit 帶來的工程債。最可能 6–12 個月內跟進。

Google。Gemini 團隊的 tokenizer 團隊是業界最強,而他們正是 SentencePiece 的貢獻者。byte-level adapter 對他們來說是「既有工具的新用法」。跟進機率 60–70%。

OpenAI。GPT-5 架構細節尚未公開,OpenAI 更可能先推出穩定版,位元組級改造則放到 GPT-5.5 或 GPT-6。短期跟進機率低。

Meta。Llama 4 走多模態原生路線,tokenizer 問題被推到多模態統一表徵層面。Meta 短期更可能用外掛方式補救(例如專門處理 URL / 程式碼的前處理模組),而非全面位元組級改造。

反共識判斷:位元組級不是終局,tokenizer 會以另一種姿態回來

我的判斷和主流不太一樣:位元組級不是終點,而是過渡方案。

理由很簡單:位元組級解決了「輸入側」問題(讓模型看見原始資料),但「輸出側」還卡在地獄裡。

位元組級生成的代價:

  • 每秒輸出位元組數大幅下降,使用者體驗變差
  • 長文本生成做不了 constrained decoding
  • code generation 幾乎做不了結構化輸出(JSON、程式碼區塊都得重新設計)

輸出側必須有一個聚合單元——不是 character、不是 byte,得是某種「learned patch」。我預測未來 1–2 年會出現:

Learned byte-level patch:介於 byte 與 token 之間的中間形態,由模型自己學會把相鄰位元組聚合成有意義的 patch。

這等於把「切分」從前處理搬進模型內部,變成動態決策。NVIDIA、Anthropic、xAI 三家之一會率先發表相關研究。

編輯思考

這件事為什麼重要?不是因為「Tokenizer 要死了」,而是因為一個被默默接受 5 年的架構選擇,第一次被 Nature 等級的頂刊正式質疑。這是 LLM 架構反思的一個訊號。

反共識角度:主流敘事說「位元組級就是未來」,但我認為位元組級很快就會撞上輸出側的硬牆。真正的終局是模型自己學會切分——既不是 BPE 那種靜態規則,也不是純位元組流,而是 dynamic learned patch。這件事 2027 年才可能成熟。

這次和過去哪些事不同?ByT5(2021)、MegaByte(2023)、CANINE(2021)都是位元組級方案,但都沒撼動 BPE。差別在於:這次 Nature 背書 + retrofit 方案把成本壓到可接受範圍,位元組級第一次從「研究 demo」進入「工程選項」。但 HN 23 分 0 留言也提醒我們,工程界還在消化,不會立刻爆發。

不確定的部分:位元組級在 100K+ 長上下文上的表現,論文沒給資料。這塊要是崩了,位元組級短期內進不了生產,討論會冷下來。

來源: https://www.nature.com/articles/s41586-026-11111-4