Tokenizer 一直是 LLM 的"潜规则"——所有人都用它,没人公开质疑它。直到 Nature 上周发了这篇:
Training large language models directly on bytes, without retraining
它想做的事很激进:把一个已经训好的 token 级 LLM,不改预训练权重,直接改成吃字节序列。这事过去没人敢想。
这篇论文到底干了什么
核心方法是 retrofit(改造现有模型),而不是从头预训练。这一点很关键。
之前所有字节级方案——ByT5、MegaByte、CANINE——都有一个共同问题:你得重新跑一遍预训练。GPT-4 级别模型训练一次成本上亿美元,没人愿意为"试试字节"赌上这笔钱。
Nature 这篇的思路是:在已有模型上加一层 byte-level adapter,冻结原模型参数,只训练新插入的模块。核心 trade-off 清楚:
- 不用重新跑预训练,改造成本降一个数量级
- 但需要训练 adapter 参数,得小规模微调
- 输出质量比原生 token 模型略低,差距在 1-2% 范围内
论文给出的数据:在多项标准 benchmark 上,改造后的模型达到原模型 98% 左右的性能,但拿到字节级模型的全部好处。
为什么 tokenizer 这个老问题现在才被 Nature 接住
BPE/WordPiece 这套子词切分方案用了很多年,但毛病积累得也够多了:
OOV 问题。理论上 BPE 没有 out-of-vocabulary,实际上碰到 emoji、生僻字、罕见专有名词,切出来的 token 经常是单字节或乱码片段,模型根本理解不了。
多语言不平等。英语文本每个 token 平均承载 4 个字符,中文只有 1.5,某些语言不到 1。同样语料量下,中文训练效果天然吃亏——tokenizer 帮倒忙。
特殊符号乱码。@、#、URL、代码片段在 tokenizer 眼里是"杂物",经常切成不能理解的乱码片段。GitHub Copilot 老用户应该深有体会:它对超长 URL 的理解经常崩溃。
工程债。每家模型厂都维护自己的 special token 列表——<|endoftext|>、<|im_start|>、<|eot_id|>——这套东西维护起来烦得要命,微调时一个不小心就破坏兼容性。
Nature 这种顶刊通常不发纯 NLP 工程改造。这次发了,信号不一样:字节级这件事开始从"民间研究"进入"主流认可"。
HN 上,讨论被什么卡住了
这篇论文在 Hacker News 上 23 分、0 评论。23 分说明早期读者认可质量,0 评论说明大部分人还在读论文,没形成讨论。
但技术层面卡得很明确:字节级推理的序列长度爆炸。
算一笔账:
- 4 个英文字符 = 1 个 token(典型 BPE)
- 同样 4 个字符 = 12-16 个字节(UTF-8)
- 序列长度膨胀 3-4 倍
- KV cache 直接翻几倍
- 显存线性增长,attention 是 O(n²)
一个 100K token 的上下文窗口,字节级后变成 300-400K byte 序列。在 H100 上推理的成本直接涨 4 倍,延迟也跟着上来。
字节级模型目前还跑不起生产级长上下文。论文里只给了短文本 benchmark,长上下文表现如何还得等社区复现。
三家头部模型厂,谁最可能跟进
我盘了下三家头部模型厂的处境:
Anthropic。Claude 系列的 tokenizer 一直偏保守,Anthropic 内部有过 BPE 改造的先例(改过 vocab size、改过特殊 token 设计)。他们对字节级的兴趣应该最大,工程文化也吃得消 retrofit 带来的工程债。最可能 6-12 个月内跟进。
Google。Gemini 团队的 tokenizer 团队业内最强,他们贡献了 SentencePiece。byte-level adapter 对他们来说是"已有工具的新用法"。跟进概率 60-70%。
OpenAI。GPT-5 架构细节没公开,OpenAI 更可能先推稳定版,字节级改造放在 GPT-5.5 或 GPT-6。短期跟进概率低。
Meta。Llama 4 走多模态原生路线,tokenizer 问题被推到多模态统一表征层面。Meta 短期更可能用插件式补救(比如专门处理 URL/代码的预处理模块),而不是整体字节级改造。
反共识判断:字节级不是终局,tokenizer 会以另一种形态回归
我的判断和主流不太一样:字节级不是终点,是过渡方案。
理由很简单:字节级解决了"输入侧"问题(让模型看见原始数据),但"输出侧"还在地狱里。
字节级生成意味着:
- 每秒输出字节数大幅下降,用户体验差
- 长文本生成没法做 constrained decoding
- code generation 几乎做不了结构化输出(JSON、代码块都得重新设计)
输出侧必须有一个聚合单元——不是 character、不是 byte,得是某种"learned patch"。我预测未来 1-2 年会出现:
Learned byte-level patch:介于 byte 和 token 之间的中间形态,模型自己学怎么把相邻字节聚合成有意义的 patch。
这相当于把"切分"从预处理移到模型内部,动态决策。NVIDIA、Anthropic、xAI 三家之一会先发相关工作。
编辑思考
这件事为什么重要?不是因为"Tokenizer 要死了",而是一个被默认接受 5 年的架构选择,第一次被 Nature 级别的顶刊正式质疑。这是 LLM 架构反思的一个信号。
反共识角度:主流叙事说"字节级是未来",但我认为字节级很快会撞上输出侧的硬墙。真正的终局是模型自己学会切分——既不是 BPE 那种静态规则,也不是纯字节流,而是 dynamic learned patch。这事 2027 年才可能成熟。
这次具体和过去哪些事不同?ByT5(2021)、MegaByte(2023)、CANINE(2021)都是字节级方案,但都没撼动 BPE。区别在于:这次 Nature 背书 + retrofit 方案把成本压到可接受范围,字节级第一次从"研究 demo"进入"工程选项"。但 HN 23 分 0 评论也提醒我们,工程界还在消化,不是立刻会爆发。
不确定的地方:字节级在 100K+ 长上下文上的表现,论文没给数据。这部分要是崩了,字节级短期内进不了生产,讨论会冷下来。