大模型

告别 Tokenizer:Nature 新研究把 LLM 直接架在字节上

tokenizer 一直是 LLM 的潜规则,Nature 新论文想把它整个拆掉,字节级改造意味着什么?谁会先跟进?

字号

Tokenizer 一直是 LLM 的"潜规则"——所有人都用它,没人公开质疑它。直到 Nature 上周发了这篇:

Training large language models directly on bytes, without retraining

它想做的事很激进:把一个已经训好的 token 级 LLM,不改预训练权重,直接改成吃字节序列。这事过去没人敢想。

这篇论文到底干了什么

核心方法是 retrofit(改造现有模型),而不是从头预训练。这一点很关键。

之前所有字节级方案——ByT5、MegaByte、CANINE——都有一个共同问题:你得重新跑一遍预训练。GPT-4 级别模型训练一次成本上亿美元,没人愿意为"试试字节"赌上这笔钱。

Nature 这篇的思路是:在已有模型上加一层 byte-level adapter,冻结原模型参数,只训练新插入的模块。核心 trade-off 清楚:

  • 不用重新跑预训练,改造成本降一个数量级
  • 但需要训练 adapter 参数,得小规模微调
  • 输出质量比原生 token 模型略低,差距在 1-2% 范围内

论文给出的数据:在多项标准 benchmark 上,改造后的模型达到原模型 98% 左右的性能,但拿到字节级模型的全部好处。

为什么 tokenizer 这个老问题现在才被 Nature 接住

BPE/WordPiece 这套子词切分方案用了很多年,但毛病积累得也够多了:

OOV 问题。理论上 BPE 没有 out-of-vocabulary,实际上碰到 emoji、生僻字、罕见专有名词,切出来的 token 经常是单字节或乱码片段,模型根本理解不了。

多语言不平等。英语文本每个 token 平均承载 4 个字符,中文只有 1.5,某些语言不到 1。同样语料量下,中文训练效果天然吃亏——tokenizer 帮倒忙。

特殊符号乱码。@、#、URL、代码片段在 tokenizer 眼里是"杂物",经常切成不能理解的乱码片段。GitHub Copilot 老用户应该深有体会:它对超长 URL 的理解经常崩溃。

工程债。每家模型厂都维护自己的 special token 列表——<|endoftext|>、<|im_start|>、<|eot_id|>——这套东西维护起来烦得要命,微调时一个不小心就破坏兼容性。

Nature 这种顶刊通常不发纯 NLP 工程改造。这次发了,信号不一样:字节级这件事开始从"民间研究"进入"主流认可"。

HN 上,讨论被什么卡住了

这篇论文在 Hacker News 上 23 分、0 评论。23 分说明早期读者认可质量,0 评论说明大部分人还在读论文,没形成讨论。

但技术层面卡得很明确:字节级推理的序列长度爆炸。

算一笔账:

  • 4 个英文字符 = 1 个 token(典型 BPE)
  • 同样 4 个字符 = 12-16 个字节(UTF-8)
  • 序列长度膨胀 3-4 倍
  • KV cache 直接翻几倍
  • 显存线性增长,attention 是 O(n²)

一个 100K token 的上下文窗口,字节级后变成 300-400K byte 序列。在 H100 上推理的成本直接涨 4 倍,延迟也跟着上来。

字节级模型目前还跑不起生产级长上下文。论文里只给了短文本 benchmark,长上下文表现如何还得等社区复现。

三家头部模型厂,谁最可能跟进

我盘了下三家头部模型厂的处境:

Anthropic。Claude 系列的 tokenizer 一直偏保守,Anthropic 内部有过 BPE 改造的先例(改过 vocab size、改过特殊 token 设计)。他们对字节级的兴趣应该最大,工程文化也吃得消 retrofit 带来的工程债。最可能 6-12 个月内跟进。

Google。Gemini 团队的 tokenizer 团队业内最强,他们贡献了 SentencePiece。byte-level adapter 对他们来说是"已有工具的新用法"。跟进概率 60-70%。

OpenAI。GPT-5 架构细节没公开,OpenAI 更可能先推稳定版,字节级改造放在 GPT-5.5 或 GPT-6。短期跟进概率低。

Meta。Llama 4 走多模态原生路线,tokenizer 问题被推到多模态统一表征层面。Meta 短期更可能用插件式补救(比如专门处理 URL/代码的预处理模块),而不是整体字节级改造。

反共识判断:字节级不是终局,tokenizer 会以另一种形态回归

我的判断和主流不太一样:字节级不是终点,是过渡方案。

理由很简单:字节级解决了"输入侧"问题(让模型看见原始数据),但"输出侧"还在地狱里。

字节级生成意味着:

  • 每秒输出字节数大幅下降,用户体验差
  • 长文本生成没法做 constrained decoding
  • code generation 几乎做不了结构化输出(JSON、代码块都得重新设计)

输出侧必须有一个聚合单元——不是 character、不是 byte,得是某种"learned patch"。我预测未来 1-2 年会出现:

Learned byte-level patch:介于 byte 和 token 之间的中间形态,模型自己学怎么把相邻字节聚合成有意义的 patch。

这相当于把"切分"从预处理移到模型内部,动态决策。NVIDIA、Anthropic、xAI 三家之一会先发相关工作。

编辑思考

这件事为什么重要?不是因为"Tokenizer 要死了",而是一个被默认接受 5 年的架构选择,第一次被 Nature 级别的顶刊正式质疑。这是 LLM 架构反思的一个信号。

反共识角度:主流叙事说"字节级是未来",但我认为字节级很快会撞上输出侧的硬墙。真正的终局是模型自己学会切分——既不是 BPE 那种静态规则,也不是纯字节流,而是 dynamic learned patch。这事 2027 年才可能成熟。

这次具体和过去哪些事不同?ByT5(2021)、MegaByte(2023)、CANINE(2021)都是字节级方案,但都没撼动 BPE。区别在于:这次 Nature 背书 + retrofit 方案把成本压到可接受范围,字节级第一次从"研究 demo"进入"工程选项"。但 HN 23 分 0 评论也提醒我们,工程界还在消化,不是立刻会爆发。

不确定的地方:字节级在 100K+ 长上下文上的表现,论文没给数据。这部分要是崩了,字节级短期内进不了生产,讨论会冷下来。

来源: https://www.nature.com/articles/s41586-026-11111-4