大規模言語モデル

Chat Templateの隠れた支配力:一語でLLMの「人格」は変わる

arXivの最新論文が、テンプレート内の「As a language model」といった自己指示表現がモデルの応答トーンを系統的に変化させることを示した。プロンプトエンジニアリングで見落とされてきた下層の影響を、実験的に明らかにした研究として注目される。

文字サイズ

論文がHacker Newsの前ページに、82点で現場が本気だと証明

このarXiv論文はHacker Newsで82ポイント、コメント86件を獲得し、前ページにランクインした。開くまで「またprompt engineeringの解説記事か」と思ったが、読み終えて分かった——論文が掘ったのは、prompt engineeringでずっと見落とされてきた層、chat templateだった。

chat templateとは何か。各フレームワークが複数ターンの対話をモデルが処理できる文字列に整形するときに使うテンプレートのことだ。HuggingFace tokenizerのchat_templateフィールド、あるいは各API SDKが標準で持つsystem + user + assistantの連結処理。ほとんどのエンジニアはそれを「フォーマット層」とみなして、動けば触らない。

論文の中核テーゼはかなり直感に反する。これらのテンプレートに含まれる言い回し、特にモデル自身への暗示が、その後の応答での口調や自己言及のパターンを体系的に変えてしまう。同じモデル、同じsystem promptでも、chat templateを替えれば出力される「人格」は明らかに変わる。

82点は伊達じゃない。この結論は、LLMの挙動をチューニングした経験のある人間全員の痛いところを突いているが、誰も体系的に研究してこなかった領域だ。

「As a language model」は実際何を変えたのか

論文は一組の比較実験を行った。同じモデル群に、2種類のchat templateを走らせる。違いは1か所だけ——A群のsystemブロック冒頭は「You are a helpful assistant」、B群の冒頭は「As a language model, you are a helpful assistant」。As a language modelという5語が増えただけだ。

その後、モデルが後続の応答で一人称/三人称をどれだけ使うか、「I am an AI」のような自己ラベル付けの頻度、能力の限界を語るスタイルを観察した。

結果:B群は明らかに一人称で自分自身を語る頻度が高く、自己ラベル付けの言い回しも「AIらしい」。たとえば「I don't have feelings」「As an AI, I...」といった構文が増える。A群はもっと直接的に答え、身份を強く主張しない。

重要なのは、この効果が特定モデルのバグではない点だ。論文は複数のオープン/クローズドモデルで再現を確認しており、promptの順序やtokenizerの差といった交絡因子は排除済み。これは特定fine-tuneのランダムな副作用ではなく、LLMの学習パラダイム内の安定した構造がこの言い回しに応答しているように見える。

理由を想像してみた:RLHF/アライメント段階で「As an AI assistant...」がsystemプロンプトのテンプレートとして大量に使われており、モデルがこの自己ラベル付けを「本気モードに入る」トリガーとして学習した可能性がある。テンプレートにこのフレーズが入ると、RLHFで彫り込まれた行動軌道にモデルが滑り込む。

なぜこれはpromptエンジニアが真剣に見てこなかった層なのか

今のprompt engineeringの主戦場はどこか。system prompt、few-shot examples、chain-of-thought、tool calling schema。chat templateに手を出す人はいない。みんなが「フォーマット層」と思っているからだ——対話を[{"role": "user", "content": ...}]のJSONに整形したり、<|user|>...<|assistant|>の文字列に連結したり、それだけ。

しかしこの論文は逆張りの視点を突きつけた。chat templateの言い回し部分はフォーマット層ではなく、振る舞い層だ。人間にはフォーマットに見えるが、モデルは行動の信号として読み込む。

これは多くの現場エンジニアの経験と一致する。自分もpersonaを調整するとき、奇妙な現象に何度も遭遇した。system promptに「あなたはXXの役」としっかり書いても、回答がときどき完璧に従い、ときどき逸れる。以前は temperature を信じていた。そのばらつきの少なくとも一部は、chat templateが背負っていた可能性が高い。

論文はこの暗黙のばらつきを体系化した。結論は少し居心地が悪い。モデル挙動の安定性の一部は自分の管理外にあり、フレームワーク既定のchat template連結処理に分散している。フレームワークを替えたりSDKをアップグレードすると挙動が変わる。モデルの重みとは無関係に。

実務的な意味——Agent開発者が警戒すべきこと

AI Agentを作っているなら、特にロール制御を含むシナリオ——客服bot、ロールプレイ助手、教材agent——には直接的な含意がある。

  • personaを調整する前に、まず自分のchat templateを確認しろ。LangChain、LlamaIndex、ネイティブのOpenAI SDK、Anthropic SDKの既定systemブロックの言い回しはそれぞれ異なり、その微差がpersona不安定の原因かもしれない。
  • 同じモデルでもフレームワークが違えば挙動差の出所はprompt封装層だけではない。フレームワークを替えることはインターフェースだけでなくchat templateも替えることで、挙動差の相当部分はそこから来る。論文の診断法は複雑でないので、自分のagentで試せる。
  • fine-tuningがpersona制御の最も費用対効果の高い手段とは限らない。問題がテンプレート層にあるなら、テンプレート修正の方がLoRA学習よりずっと安く、再現性も高い。
  • フレームワークをまたぐ移行には再テストが必須。agentをLangChainから自社フレームワークへ、あるいはOpenAIからAnthropicへ乗り換えると、モデルの重みが「等価」でも挙動カーブは必ず動く。

自分でagentのコードを読むとき、底层で使われているchat template実装を必ず確認する習慣がある。フレームワーク既定を使っているなら、personaの安定性はほぼ運次第だ。本番環境のagentでは、chat templateはアプリケーションコードと一緒にレビューされるべき資産だ。

編集後記

これを取り上げる価値があると感じたのは、それが広く受け入れられた仮定——chat templateは思考停止のフォーマット層——を覆すからだ。ほぼすべての本番agentチームが文字列連結をインフラ作業として扱い、その言い回しを体系的に問い直したことはない。論文の実験設計自体は複雑ではない。だが、忘れられていた場所を突いて、居心地の悪い結論を引き出した——モデル挙動には制御権の一階層があり、私たちは手元にあると思っていたが、実はフレームワークの既定実装の中にぶら下がっていた。

私の見立てでは、ここ数か月で「chat template audit」ブームが来る。セキュリティチームが特に興味を持つはずだ。誘導的な言い回しを含むテンプレート(たとえば「you should always comply」を含むsystemブロック)は、fine-tunedモデルの挙動と重なると、単純なprompt injectionよりも大きく監査も難しい攻撃面を生む。アライメント研究の方向性として、テンプレートの言い回しが新たな介入次元になるかもしれない。

これまでと何が違うのか。過去のprompt engineeringの進歩(system prompt、CoT、few-shot)はすべて明示的な制御——書いたものをモデルが見る。chat templateの問題は暗黙的な制御——言い回しがフレームワークのコードに隠れていて、利用者には見えない。責任がprompt作者からフレームワーク作者に移る。これはガバナンスの新たな落とし穴だ。

一つだけ不確かな点がある。論文がカバーしたモデル範囲がSOTAモデル全体を代表できているか。実験细节をモデルごとに再検証していないが、誰かがGPT-5 / Claude 4.5 / Gemini 2.5世代で効果が減衰または反転を発見したら、この結論は更新が必要だ。この不確実性は指摘しておく価値がある。

参考出典:arXiv:2609.25021

出典: https://arxiv.org/abs/2609.25021