老师打分打偏了:On-Policy Distillation 的奖励信号陷阱
最近翻到一篇 arXiv 2608.19408,专门挑 On-Policy Distillation(OPD)的毛病。看完之后我对 post-training 这套范式的怀疑又多了一层。
OPD 的隐含假设:老师打分 ≈ 推理进步
先快速回顾下 OPD 是什么。
在后训练阶段,student 模型自己 roll 出 trajectory,teacher 模型给每个 token 打一个分数当作密集监督。这套做法现在用得很广——OpenAI 的 GPT 系列、DeepSeek 的 R1、Anthropic 的某些对齐工作,背后都有类似思路。
论文摘要里原话是:
pairing student-generated trajectories with dense token-level supervision from a teacher
也就是说,teacher 的打分直接当 token-level 的 dense reward 用。整个 OPD 范式建立在一个隐含假设上:teacher-derived rewards ≈ reasoning progress。
翻译成人话:老师觉得好的 token,就是 student 推理向前推进的 token。
假设为什么站不住
问题就出在这。论文作者发现这个假设经常不成立。
摘要直接说:
teacher-derived rewards often conflict with genuine reasoning progress
也就是 teacher 打的高分 token,不一定是真正推动推理前进的 token;某些被打高分的 token,反而是 reasoning step 的噪声,甚至让推理回退了一步。
这事儿其实不意外。Teacher 模型本身也在生成,它给的 token-level logprob 或者 reward,衡量的更多是「下一个最可能的 token」,而不是「这一步推理是否真的推进了」。
这两个东西在大多数情况下重合,但在 chain-of-thought 这种长链推理里,重合度会显著下降。
举个我自己的观察:我在跑 DeepSeek-R1-Distill 系列做下游任务时,让 student 写一段数学证明,teacher 给的高分 token 经常集中在「承接上文」的连接词和「看起来像推理」的套话上——而真正完成状态转移的关键等式变换,反而因为是低频表达被打低分。这跟论文的观察一致。
改进思路:按推理进度过滤 teacher feedback
论文提的解法挺直接:在 policy optimization 之前,先用 reasoning progress 当过滤器,把和真实推理进度冲突的 teacher feedback 筛掉。
摘要原话:
filtering teacher feedback by reasoning progress before policy optimization
这个 filter 的位置很关键。它不是改 loss,不是改 reward shaping,而是在 OPD 训练 loop 的最前端,先决定「这一段 trajectory 配不配拿 teacher 的打分做监督」。
我理解大致是这样:
# 伪代码:reasoning-progress-aware OPD
for trajectory in student_rollouts(trajectory_buffer):
teacher_rewards = teacher.score(trajectory) # token-level
rp_scores = reasoning_progress(trajectory) # 独立指标
keep_mask = agreement(teacher_rewards, rp_scores) # 只保留一致的
if keep_mask.any():
policy_optimization_step(trajectory[keep_mask], teacher_rewards[keep_mask])
reasoning_progress(trajectory) 怎么定义是这篇论文最核心的工程问题,也是我最想吐槽的地方——下面会说。
这意味着什么:post-training 的奖励设计被低估了
这篇论文真正戳到的是整个 post-training 圈子一个被低估的问题:reward signal 本身到底在衡量什么。
现在大家卷 RLHF、卷 DPO、卷 OPD、卷 process reward model(PRM),注意力基本都在:
- loss function 怎么写
- preference pair 怎么采
- 怎么防止 reward hacking
- 怎么上 KTO / IPO / SimPO
但很少有人停下来问:我这个 reward signal 真的在衡量我想让它衡量的东西吗?
OPD 范式默认 teacher 给的 token-level 监督 ≈ reasoning progress。这是一种「用模型的输出当 ground truth」的偷懒——而我们都知道,模型的输出不是 ground truth。
论文的 filter 思路,本质上是承认了这件事:teacher 的判断和真实进度不是一回事,所以要加一层独立验证。
这跟 RAG 圈子里「retrieval 不是 answer,所以要重排序」是一个道理——用模型的输出做监督之前,先验证它对不对。
如果这篇论文的观察成立,影响的不只是 OPD。任何把 LLM 当 scorer 用的下游工作(reward model、judge model、自动评测)都得重新审视一遍。
我看完的几个疑问
几个没解决的疑问:
1. reasoning progress 的 ground truth 从哪来?
这是最大的问题。Reasoning progress 听起来很美好,但「推理真的向前推进了」这件事本身就需要一个 oracle 来标注。如果是数学题可以用最终答案对不对;如果是开放式推理呢?
论文摘要没展开这块,我估计要么用 final outcome 当 weak signal,要么再训一个 PRM——但这样就回到了「用模型监督模型」的循环。
2. 会不会引入新的 reward hacking?
Student 在被过滤后的子集上优化,理论上完全可能学会「怎么写让 filter 觉得推理在推进」的写作风格。比如多写显式的中间步骤、多用「所以」「因此」之类的连接词——这些对最终答案正确率未必有帮助,但能骗过 progress 指标。
3. student 训练数据分布变化后,filter 是不是还稳?
这是另一个现实问题。Student 训练过程中分布会漂移,原本在 base model 上校准的 filter,到了训练后期的 checkpoint 上是否还 work?要不要定期重校准?这些工程细节论文没给。
4. 算力账
多一层 reasoning progress 的评估,每一步 student rollout 都要跑两次(前向 + progress 打分)。论文没提 overhead,对大规模训练来说这个倍数不小。
一句话总结
OPD 把 teacher 当裁判,但裁判自己也有偏见。这篇论文至少提醒了一件事:post-training 的算法创新卷到今天,下一个真正的瓶颈可能不在 loss,在 reward signal 的质量。