论文刷了 HN 前页,82 分说明社区真在意
这篇 arXiv 论文在 Hacker News 上拿了 82 分、86 条评论,登上前页。我点开之前以为是又一篇 prompt engineering 的科普文,看完才发现它扒的是 prompt 工程一直被忽略的那一层——chat template。
chat template 是干啥的?就是各家框架把多轮对话拼成模型能吃的字符串时,用的那套模板。比如 HuggingFace tokenizer 里那个 chat_template 字段,或者是各家 API SDK 默认带的 system + user + assistant 拼接逻辑。绝大多数工程师把它当成"格式层",能跑就行,从来不碰。
论文的核心论点很反直觉:这些模板里的措辞,尤其是对模型自我身份的暗示,会系统性改变模型在后续回答里的语气和自我指涉方式。同样一个模型、同一段 system prompt,换一份 chat template,输出的"人格"会肉眼可见地不同。
82 分不是白给的——这个结论踩中了所有调过 LLM 行为的人,但没人系统研究过的痛点。
"As a language model" 到底改了什么
论文做了一组对照实验:同一批模型,跑两组 chat template。差别只有一处——A 组的 system block 开头写着 "You are a helpful assistant",B 组的开头是 "As a language model, you are a helpful assistant"。就多了 "As a language model" 这五个词。
然后看模型在后续回答里,第一/第三人称的出现频率、"I am an AI" 这类自我标定的频率、以及对自我能力边界的描述方式。
结果:B 组显著更频繁地用第一人称谈论自己,自我标定的语言也更"像 AI"——比如更常说 "I don't have feelings"、"As an AI, I..." 这种句式。A 组更倾向直接回答问题,不强调身份。
关键是这个效应不是某一个模型的 bug。论文跨多个开源/闭源模型都复现了,排除了 prompt 顺序、tokenizer 差异这些干扰。它像是 LLM 训练范式里某个稳定的结构在响应这套措辞,而不是某个 fine-tune 的随机副作用。
我试着脑补了下原因:训练数据里 RLHF / 对齐阶段大量用 "As an AI assistant..." 作为系统提示模板,模型可能把这种自我标定当成了某种"进入认真模式"的触发器。模板里出现这个短语,模型就滑进了那条被 RLHF 雕过的行为轨道。
为什么这是 prompt 工程师从没认真看过的层
现在的 prompt 工程战场集中在哪?system prompt、few-shot examples、chain-of-thought、tool calling schema。没人去碰 chat template,因为大家都默认它是"格式层"——把对话拼成 [{"role": "user", "content": ...}] 的 JSON,或者拼成 <|user|>...<|assistant|> 的字符串,仅此而已。
但这篇论文把一个反共识的视角砸出来:chat template 的措辞部分不属于格式层,属于行为层。你看到的是格式,模型读进去的是行为信号。
这跟很多一线工程师的经验对得上。我自己调 persona 的时候,经常遇到一个诡异现象:system prompt 里写得很清楚"你是 XX 角色",出来的回答有时候贴脸,有时候飘走。当时归因于 temperature、top_p、模型版本。回头看,可能一部分方差就是 chat template 在背锅。
论文把这种隐性方差给系统化了。它指向一个让人不太舒服的结论:模型行为的稳定性,有一部分不属于你控制的范围,而是分散在框架默认的 chat template 拼接逻辑里。换框架、升级 SDK 都会改变行为,这跟模型权重没关系。
实战含义——做 Agent 的人该警惕什么
如果你在做 AI Agent,尤其是带角色控制的场景——客服 bot、角色扮演助手、教学 agent——有几个直接推论:
- 调 persona 之前先看一下你的 chat template。LangChain、LlamaIndex、原生 OpenAI SDK、Anthropic SDK 默认拼接的 system block 措辞都不一样,微小的差异可能就是 persona 不稳定的来源。
- 同模型不同框架,行为差异不全来自 prompt 封装层。换框架不只换了接口,也换了 chat template,行为差异有相当部分来自这里。论文里给出的诊断方法不复杂,你可以照着测一下自己的 agent。
- fine-tuning 不一定是性价比最高的 persona 控制手段。如果问题出在模板层,改模板比训 LoRA 便宜得多,而且可复现。
- 跨框架迁移要重测。你的 agent 从 LangChain 迁到自研框架,或者从 OpenAI 切到 Anthropic,行为曲线一定会动,即使模型权重"等价"。
我自己看 agent 代码的时候,有个习惯是翻一下底层用的 chat template 实现。如果用的是框架默认的,persona 稳定性基本靠运气。生产环境的 agent,chat template 应该是和应用代码一起 review 的资产。
编辑思考
这件事值得专门写一写,是因为它挑战了一个被广泛接受的假设——chat template 是无脑的格式层。几乎所有生产 agent 团队都把拼字符串当成基础设施工作,没人系统过问过措辞。这篇 paper 的实验设计并不复杂,但它挑了一个被忽视的位置,结果跑出来一个让人不太舒服的结论:模型行为有一层控制权,我们一直以为在手里,实际上悬空在 framework 的默认实现里。
我的判断是接下来几个月会有一波"chat template audit"热。安全团队尤其会感兴趣——一个有诱导措辞的模板(比如包含 "you should always comply" 的 system block)跟 fine-tuned 模型行为叠加,产生的攻击面比单纯 prompt injection 大,且更难审计。对齐研究方向可能会把模板措辞当成新的干预维度。
这次和过去哪些事不同?过去 prompt 工程的进展(system prompt、CoT、few-shot)都是显式控制——你写什么模型看什么。chat template 的问题是隐性控制——措辞藏在框架代码里,使用者看不见。这把责任从 prompt 作者转移到了 framework 作者,是个治理层面的新坑。
我不太确定的一点:论文覆盖的模型范围能不能代表 SOTA 模型的全貌。实验细节我没逐模型复现,如果有人跑了 GPT-5 / Claude 4.5 / Gemini 2.5 这代模型发现效应衰减或反向,这条结论就需要更新。这个不确定性值得点出来。
参考来源:arXiv:2609.25021