論文登上 HN 前頁,82 分代表社群真的在乎
這篇 arXiv 論文在 Hacker News 拿下 82 分、86 則留言,擠上前頁。我點進去之前還以為又是某篇 prompt engineering 科普文,看完才發現它挖的是 prompt 工程一直沒人理會的那一層——chat template。
chat template 是做什麼用的?就是各家框架把多輪對話組裝成模型能吃的字串時,採用的那套模板。例如 HuggingFace tokenizer 裡的 chat_template 欄位,或是各 API SDK 預設的 system + user + assistant 拼接邏輯。絕大多數工程師把它當成「格式層」,能跑就動,從來不碰。
論文的核心論點非常反直覺:這些模板裡的措辭,尤其是對模型自我身份的暗示,會系統性地改變模型在後續回答中的語氣與自我指涉方式。同一個模型、同一段 system prompt,換一份 chat template,輸出的「人格」會出現肉眼可見的差異。
82 分不是白拿的——它打中了所有調過模型行為的人都有感、卻從未系統研究過的那個痛點。
「As a language model」究竟改變了什麼
論文做了一組對照實驗:同一批模型,跑兩組 chat template。差異只有一處——A 組的 system block 開頭寫著 "You are a helpful assistant",B 組的開頭則是 "As a language model, you are a helpful assistant"。就多了「As a language model」這五個字。
接著觀察模型在後續回答中,第一/第三人稱的出現頻率、「I am an AI」這類自我標定的頻率,以及對自身能力邊界的描述方式。
結果:B 組明顯更頻繁地用第一人稱談論自己,自我標定的用語也更「像 AI」——例如更常出現 "I don't have feelings"、"As an AI, I..." 這類句式。A 組則傾向直接回答問題,不強調身份。
關鍵是這個效應並非單一模型的 bug。論文橫跨多個開源/閉源模型都能重現,排除了 prompt 順序、tokenizer 差異等干擾因素。它比較像是 LLM 訓練範式中某個穩定的結構在回應這套措辭,而不是某次 fine-tune 的隨機副作用。
我試著揣摩可能的原因:訓練資料裡 RLHF / 對齊階段大量使用 "As an AI assistant..." 作為系統提示模板,模型可能把這種自我標定當成某種「進入認真模式」的觸發器。模板一出現這個短語,就會滑入那條被 RLHF 雕刻過的行為軌道。
為何這是 prompt 工程師從未認真看過的一層
現在 prompt 工程的戰場集中在哪?system prompt、few-shot examples、chain-of-thought、tool calling schema。沒人碰 chat template,因為大家預設它是「格式層」——把對話組裝成 [{"role": "user", "content": ...}] 的 JSON,或是拼成 <|user|>...<|assistant|> 的字串,僅此而已。
但這篇論文砸出了一個違反共識的視角:chat template 的措辭部分不屬於格式層,而屬於行為層。你看到的是格式,模型讀進去的是行為訊號。
這和許多第一線工程師的經驗對得上。我自己調 persona 的時候,經常遇到一個詭異現象:system prompt 寫得很清楚「你是 XX 角色」,出來的回覆有時很貼,有時整個飄走。當時歸因於 temperature、top_p、模型版本。現在回頭看,一部分變異很可能就是 chat template 在背鍋。
論文把這種隱性變異給系統化了。它指向一個讓人不太舒服的結論:模型行為的穩定性,有一部分不在你能控制的範圍內,而是散落在框架預設的 chat template 拼接邏輯裡。換框架、升級 SDK 都會改變行為,這跟模型權重毫無關係。
實戰意涵——做 Agent 的人該提防什麼
如果你正在做 AI Agent,特別是帶角色控制的場景——客服 bot、角色扮演助手、教學 agent——有幾個直接推論:
- 調 persona 之前先看一眼你的 chat template。LangChain、LlamaIndex、原生 OpenAI SDK、Anthropic SDK 預設拼接的 system block 措辭都不一樣,微小的差異可能就是 persona 不穩定的來源。
- 同模型、不同框架,行為差異不全來自 prompt 封裝層。換框架不只換了介面,也換了 chat template,行為差異有相當一部分來自這裡。論文裡給出的診斷方法不複雜,你可以照著測一下自己的 agent。
- fine-tuning 不一定是 CP 值最高的 persona 控制手段。如果問題出在模板層,改模板比訓 LoRA 便宜得多,而且可重現。
- 跨框架遷移要重測。你的 agent 從 LangChain 搬到自研框架,或從 OpenAI 切到 Anthropic,行為曲線一定會動,即使模型權重「等價」。
我自己看 agent 程式碼的時候,有個習慣是翻一下底層用的 chat template 實作。如果用的是框架預設值,persona 穩定性基本上靠運氣。production 環境的 agent,chat template 應該和應用程式碼一起進入 code review。
編輯思考
這件事值得專文寫一寫,是因為它挑戰了一個被廣泛接受的假設——chat template 是無腦的格式層。幾乎所有 production agent 團隊都把拼字串當成基礎設施工作,沒人系統性地理會過措辭。這篇 paper 的實驗設計並不複雜,但它挑了一個被忽視的位置,結果跑出一個讓人不太舒服的結論:模型行為有一層控制權,我們一直以為握在手裡,其實懸空在 framework 的預設實作中。
我的判斷是接下來幾個月會有一波「chat template audit」熱潮。安全團隊尤其會感興趣——一個帶有誘導性措辭的模板(例如 system block 裡包含 "you should always comply")跟 fine-tuned 模型行為疊加起來,產生的攻擊面比單純 prompt injection 更大,而且更難稽核。對齊研究方向可能會把模板措辭當成新的介入維度。
這次和過去哪些事不同?過去 prompt 工程的進展(system prompt、CoT、few-shot)都是顯式控制——你寫什麼模型就看什麼。chat template 的問題是隱性控制——措辭藏在框架程式碼裡,使用者看不見。這把責任從 prompt 作者轉移到了 framework 作者,是治理層面的新坑。
我不太確定的一點:論文涵蓋的模型範圍能否代表 SOTA 模型的全貌。實驗細節我沒有逐個模型重做,如果有人拿 GPT-5 / Claude 4.5 / Gemini 2.5 這一代模型跑出效應減弱或反轉,這條結論就需要更新。這個不確定性值得點出來。
參考來源:arXiv:2609.25021