최근 arXiv 2608.19408을 접했는데, On-Policy Distillation(OPD)의 약점을 정면으로 파고든다.读完之后我对 post-training 这套范式的怀疑又多了一层.
OPD의 가정 — "선생 채점 ≈ 추론 진척"
먼저 OPD가 무엇인지 짧게 짚자.
후훈련(post-training) 단계에서 student 모델이 직접 trajectory를 굴리고, teacher 모델이 각 token에 점수를 매겨 dense supervision으로 쓴다. 지금은 거의 표준처럼 쓰이는 방식이다. OpenAI의 GPT 시리즈, DeepSeek의 R1, Anthropic의 일부 정렬 작업까지, 뉘앙스는 조금씩 달라도 큰 흐름은 같다.
논문 초록의 표현을 그대로 가져오면:
pairing student-generated trajectories with dense token-level supervision from a teacher
즉, teacher의 점수를 그대로 token-level dense reward로 쓴다는 뜻이다. OPD 패러다임 전체가 하나의 암묵적 가정 위에 서 있다. teacher-derived rewards ≈ reasoning progress.
한국어로 풀면 이렇다: 선생이 좋다고 찍은 token이 곧 추론을 한 발 더 앞으로 밀어주는 token이라는 가정이다.
그 가정이 왜 자주 깨지는가
문제는 바로 여기서 터진다. 논문 저자들은 이 가정이 자주 성립하지 않는다는 사실을 보여준다.
초록에서 직접 인용하자면:
teacher-derived rewards often conflict with genuine reasoning progress
다시 말해 teacher가 높은 점수를 준 token이 정말로 추론을 진행시키는 token이라는 보장이 없다. 오히려 점수가 높은 token이 reasoning step 안의 노이즈이거나, 추론을 한 단계 뒤로 밀어버리는 경우도 있다.
사실 놀랍지도 않다. Teacher 모델도 결국 자기 자리를 생성하는 존재일 뿐이고, token-level logprob나 reward는 "다음에 가장 올 법한 token"을 재는 데 더 가깝지, "이 한 단계가 추론을 진짜로 진행시켰나"를 재는 도구는 아니다.
둘은 대부분의 경우에 겹치지만, chain-of-thought처럼 길게 늘어선 추론에서는 겹치는 비율이 눈에 띄게 떨어진다.
개인적인 관찰 하나. DeepSeek-R1-Distill 계열을 downstream task에 붙여서 수학 증명을 시켜보면, teacher가 높은 점수를 주는 token이 거의 항상 "承接上文" 류의 접속사와 "추론처럼 보이는" 상투적인 문구에 몰려 있다. 반면 상태 전이를 실제로 완성시키는 핵심 등식 변형은, 출현 빈도가 낮다는 이유로 점수가 낮게 찍히는 경우가 많다. 논문의 관찰과 정확히 같은 결이다.
개선 아이디어: 추론 진척도로 teacher feedback 거르기
논문이 제안하는 해법은 꽤 직관적이다. policy optimization을 돌리기 전에, reasoning progress를 filter로 써서 진짜 추론 진척과 충돌하는 teacher feedback을 먼저 걸러내자.
초록 원문:
filtering teacher feedback by reasoning progress before policy optimization
filter의 위치가 중요하다. loss를 고치는 것도 아니고, reward shaping을 손보는 것도 아니다. OPD 학습 루프의 맨 앞에서, "이 trajectory에 teacher의 점수를 supervision으로 붙일 가치가 있는가"를 먼저 결정한다.
내 이해는 대략 이렇다:
# 의사코드: reasoning-progress-aware OPD
for trajectory in student_rollouts(trajectory_buffer):
teacher_rewards = teacher.score(trajectory) # token-level
rp_scores = reasoning_progress(trajectory) # 독립 지표
keep_mask = agreement(teacher_rewards, rp_scores) # 일치하는 것만 남김
if keep_mask.any():
policy_optimization_step(trajectory[keep_mask], teacher_rewards[keep_mask])
reasoning_progress(trajectory)를 어떻게 정의하느냐가 이 논문에서 가장 핵심적인 엔지니어링 문제이고, 동시에 내가 가장 하고 싶은 불만이기도 하다. 아래에서 다시 다룬다.
시사점: post-training에서 보상 설계가 과소평가되고 있다
이 논문이 실제로 후린 곳은 post-training 커뮤니티 전반에서 과소평가되고 있는 문제다. reward signal 자체가 과연 무엇을 측정하고 있는가.
요즘 모두들 RLHF, DPO, OPD, PRM(process reward model)을 경쟁적으로 밀어붙이고 있다. 관심이 쏠리는 곳은 거의 정해져 있다.
- loss function을 어떻게 짤 것인가
- preference pair를 어떻게 샘플링할 것인가
- reward hacking을 어떻게 막을 것인가
- KTO / IPO / SimPO 같은 변종을 어떻게 얹을 것인가
그런데 "내가 지금 쓰는 reward signal이 정말 내가 재고 싶은 그것을 재고 있는가"라는 질문 앞에서 멈추는 사람은 드물다.
OPD 패러다임은 teacher의 token-level supervision을 곧 reasoning progress로 본다. 본질적으로 모델의 출력을 ground truth처럼 쓰는 손쉬운捷径이다. 그런데 모델의 출력이 ground truth가 아니라는 건 우리 모두가 잘 안다.
논문이 제안한 filter 방식은 사실상 그 사실을 인정하는 셈이다. teacher의 판단과 진짜 진척은 같은 게 아니므로, 그 위에 독립적인 검증을 한 층 더 얹어야 한다는 뜻이다.
RAG 커뮤니티에서 "retrieval은 answer가 아니니 rerank가 필요하다"고 하는 논리와 완전히 같은 결이다. 모델의 출력을 supervision으로 쓰기 전에, 그것이 맞는지 먼저 검증하라.
이 논문의 관찰이 맞다면 영향 범위는 OPD 너머로 뻗는다. LLM을 scorer로 쓰는 모든 downstream 작업 — reward model, judge model, 자동 평가 — 을 다시 한 번 들여다봐야 한다.
읽고 남은 몇 가지 의문
명확히 풀리지 않은 지점들:
1. reasoning progress의 ground truth는 어디서 오는가?
이게 가장 큰 문제다. Reasoning progress라는 말은 그럴듯하지만, "추론이 실제로 한 단계 앞으로 나아갔다"는 사실 자체가 oracle의 라벨을 요구한다. 수학 문제라면 최종 정답의 정/오로 weak label을 만들 수 있다. 그런데 개방형 추론은 또 어떤가?
논문 초록에서는 이 부분을 풀어놓지 않았다. 짐작으로는 final outcome을 weak signal로 쓰거나, PRM을 하나 더 학습시키는 방향일 텐데, 어느 쪽이든 결국 "모델이 모델을监督하는" 순환으로 돌아온다.
2. 새로운 reward hacking이 끼려들进来 않는가?
Student가 필터링된 부분집합 위에서 최적화되면, 이론적으로는 "filter가 추론이 진척했다고 느낄 만한 글쓰기 스타일"을 익힐 수 있다. 예를 들어 명시적인 중간 단계를 더 많이 적거나, "따라서" "그러므로" 같은 접속사를 남발하는 식이다. 이런 패턴은 최종 정답률에 도움이 되지 않으면서도 progress 지표만은 편향시킬 수 있다.
3. student의 학습 데이터 분포가 바뀌면 filter도 여전히 안정적인가?
현실적인 문제다. Student가 학습하면서 분포는 계속 드리프트한다. base model 위에서 보정한 filter가 학습 후반부 checkpoint에서도 그대로 작동할지 미지수다. 주기적으로 재보정해야 하는지, 한다면 어떤 주기로 해야 하는지, 이런 엔지니어링 디테일은 논문에서 다루지 않는다.
4. 컴퓨트 비용
reasoning progress를 평가하는 층이 하나 더 얹히면, student rollout 한 번당 두 번의 forward를 돌려야 한다(추론 자체 + progress 채점). 논문에서 overhead 수치를 제시하지 않았는데, 대규모 학습에서는 이 배수가 결코 작지 않다.
한 줄 요약
OPD는 teacher를 심판으로 세우지만, 심판 역시 자기 편견을 안고 있다. 이 논문이 최소한 우리에게 알려주는 건 이것이다. post-training의 알고리즘 혁신이 이 지경까지 왔으니, 다음 진짜 병목은 loss가 아니라 reward signal의 품질일 가능성이 크다.
참고: arXiv 2608.19408