Hacker News 전면에 오른 논문, 82점의 의미
이번 arXiv 논문은 Hacker News에서 82점, 댓글 86개를 받아 전면에 올랐다. 클릭해 보기 전에는 또 다른 prompt engineering 입문 글이겠거니 했는데, 정작 파고든 건 prompt 엔지니어링이 한 번도 제대로 들여다보지 못한 레이어, 즉 chat template이었다.
chat template가 뭘 하는 건가? 각 프레임워크가 다회 대화를 모델이 소화할 수 있는 문자열로 조립할 때 쓰는 그 템플릿이다. 예를 들어 HuggingFace tokenizer의 chat_template 필드, 또는 각 API SDK가 기본으로 내장한 system + user + assistant 결합 로직 같은 것들. 대부분의 엔지니어는 이걸 그냥 "포맷 레이어"로 취급하고, 동작만 하면 손대지 않는다.
논문의 핵심 주장만은 직관과 정면으로 충돌한다. 이 템플릿들 안에 들어 있는 문구, 특히 모델의 자기 정체성을 암시하는 표현이 이후 응답의 어조와 자기 지시 방식을 체계적으로 바꾼다는 것이다. 같은 모델, 같은 system prompt라도 chat template만 다르면 출력되는 "인격"이 눈에 보일 정도로 달라진다.
82점이 그냥 나온 게 아니다. LLM 행동을 만져본 사람은 다 공감하지만 아무도 정식 연구를 하지 못했던 아픈 지점을 정확히 짚었기 때문이다.
"As a language model"이 실제로 바꾼 것
논문은 한 그룹의 대조 실험을 돌렸다. 같은 모델 묶음에 chat template 두 벌을 적용한다. 차이는 단 한 군데뿐. A 그룹의 system 블록은 "You are a helpful assistant"로 시작하고, B 그룹은 "As a language model, you are a helpful assistant"로 시작한다. "As a language model" 다섯 단어만 더 붙은 형태다.
그리고 모델의 후속 응답에서 1인칭/3인칭 출현 빈도, "I am an AI" 같은 자기 라벨링 빈도, 자기 능력 경계를 묘사하는 방식 등을 측정했다.
결과는 이랬다. B 그룹이 통계적으로 유의미하게 더 자주 1인칭으로 자기 이야기를 했다. 자기 라벨링 표현도 더 "AI답다". "I don't have feelings", "As an AI, I..." 같은 문장이 훨씬 자주 등장했다. 반면 A 그룹은 신상을 강조하지 않고 질문에 곧장 답하는 쪽으로 기울었다.
핵심은 이 효과가 특정 모델의 버그가 아니라는 점이다. 논문은 여러 오픈소스/폐소스 모델에서 재현했고, prompt 순서나 tokenizer 차이 같은 혼동 변수는 이미 배제했다. 어느 fine-tune의 우연한 부작용이 아니라, LLM 학습 패러다임 어딘가에 자리 잡은 안정적인 구조가 그 문구에 반응하는 것처럼 보인다.
원인을 머릿속으로 그려보면 이렇다. 학습 데이터에서 RLHF/정렬 단계가 "As an AI assistant..." 같은 시스템 프롬프트 템플릿을 대량으로 사용했을 것이고, 모델은 이 자기 라벨링 패턴을 일종의 "진지한 모드 진입 트리거"로 학습했을 가능성이 있다. 템플릿에 이 구문이 나타나는 순간, 모델은 RLHF가 깎아놓은 행동 궤도로 미끄러져 들어간다.
왜 prompt 엔지니어들은 이 레이어를 진지하게 보지 않았나
지금 prompt 엔지니어링 전선은 어디에集中在 있나? system prompt, few-shot examples, chain-of-thought, tool calling schema. chat template에 손을 대는 사람은 아무도 없다. 다들 포맷 레이어라고 굳어 믿기 때문이다. 대화를 [{"role": "user", "content": ...}] JSON으로 묶든, <|user|>...<|assistant|> 문자열로 이어 붙이든 그뿐이라고 생각한다.
그런데 이 논문은 통념에 정면으로 불을 붙인다. chat template의 문구 영역은 포맷 레이어가 아니라 행동 레이어다. 우리가 보기엔 포맷이지만, 모델이 읽어 들이는 건 행동 신호다.
이건 현장 엔지니어들의 경험과도 정확히 맞물린다. 나도 persona를 튜닝할 때 이상한 현상을 자주 겪었다. system prompt에 "너는 XX 역할이야"라고 또박또박 써도, 가끔은 완벽하게 붙고 가끔은 완전히 빗나간다. 그때마다 원인을 temperature, top_p, 모델 버전에 돌렸다. 돌이켜 보면 그 분산의 한 축이 chat template가 떠안고 있었을 가능성이 있다.
논문은 이런 암묵적 분산을 체계화했다. 그리고 불편한 결론으로 이어진다. 모델 행동의 안정성 일부가 우리가 통제하는 영역 바깥에 있고, 프레임워크 기본 chat template 결합 로직 안으로 흩어져 있다. 프레임워크를 바꾸거나 SDK를 업그레이드하면 모델 가중치와 무관하게 행동이 바뀐다.
실전 함의 — Agent 만드는 사람이 경계할 것들
AI Agent, 특히 역할 제어가 들어가는 시나리오 — 고객 상담 봇, 롤플레잉 어시스턴트, 교육용 agent — 를 만들고 있다면 몇 가지 직접적 함의가 있다.
- persona 튜닝 전에 먼저 본인 chat template를 확인하라. LangChain, LlamaIndex, 네이티브 OpenAI SDK, Anthropic SDK가 기본으로 결합하는 system 블록 문구는 전부 제각각이다. 사소한 차이가 persona 불안정의 근원일 수 있다.
- 같은 모델이어도 프레임워크가 다르면 행동 차이는 prompt 캡슐화 레이어에서만 오지 않는다. 프레임워크를 바꾼다는 건 인터페이스만 바꾸는 게 아니라 chat template도 바꾸는 것이다. 행동 차이의 상당 부분이 여기서 비롯된다. 논문이 제시한 진단 절차는 복잡하지 않으니 그대로 자기 agent에 적용해 볼 만하다.
- persona 제어에서 fine-tuning이 항상 가성비 최선이 아니다. 진짜 원인이 템플릿 레이어에 있다면, LoRA를 학습시키는 것보다 템플릿을 고치는 쪽이 훨씬 싸고 재현성도 높다.
- 프레임워크 간 마이그레이션은 반드시 재테스트해야 한다. LangChain에서 자체 프레임워크로, 또는 OpenAI에서 Anthropic으로 agent를 옮기면, 모델 가중치가 "동등"하더라도 행동 곡선은 반드시 움직인다.
나는 agent 코드를 볼 때 습관적으로 하단의 chat template 구현을 뒤지는 편이다. 프레임워크 기본값을 그대로 쓰고 있다면 persona 안정성은 거의 운에 기대는 셈이다. 운영 환경의 agent라면 chat template도 애플리케이션 코드와 함께 리뷰 대상 자산으로 관리해야 한다.
편집자 생각
이 일을 별도로 다뤄볼 만하다고 판단한 이유는, 널리 받아들여진 가정 하나를 정면으로 흔들기 때문이다. chat template은 아무 생각 없이 쓰는 포맷 레이어다. 거의 모든 운영 agent 팀이 문자열 결합을 인프라 업무로 취급하고, 문구를 체계적으로 점검한 적이 없다. 이 paper의 실험 설계가 복잡한 건 아니다. 다만 무시되던 그 자리를 콕 집어 찔렀고, 그래서 결론이 불편하다. 모델 행동의 한 층이 우리 손에 있다고 믿었지만, 실제로는 framework 기본 구현 공중에 매달려 있다는 이야기다.
내 예상으로는 앞으로 몇 달간 "chat template audit" 열풍이 한 번 불 것이다. 보안 팀이 특히 관심을 가질 것이다. 유도 문구가 들어 있는 템플릿(예: system 블록 안에 "you should always comply" 같은 문구)과 fine-tuned 모델 행동이 겹치면, 단순 prompt injection보다 공격면이 넓고 감사하기는 더 어렵다. 정렬 연구 쪽에서도 템플릿 문구를 새로운 개입 차원으로 끌어들일 가능성이 크다.
이번 일이 과거의 다른 진전과 뭐가 다른가? 그동안 prompt 엔지니어링의 진보(system prompt, CoT, few-shot)는 모두 명시적 제어였다. 뭘 쓰면 모델이 그걸 본다. chat template 문제는 암묵적 제어다. 문구가 프레임워크 코드 안에 숨어 있어서 사용자는 보지도 못한다. 책임이 prompt 작성자에서 framework 작성자로 넘어가버린, 거버넌스 차원의 새로운 구멍이다.
내가 확실히 모르는 부분도 짚어 둔다. 논문이 다룬 모델 범주가 SOTA 모델 전체를 대표할 수 있는지. 실험 디테일을 모델별로 일일이 재현해 보진 않았다. 누군가 GPT-5, Claude 4.5, Gemini 2.5 세대 모델에서 효과가 줄거나 반전되는 현상을 발견한다면, 이 결론은 업데이트가 필요하다. 이 불확실성은 따로 표시해 둘 가치가 있다.
참고 출처: arXiv:2609.25021