框架

老师打分打偏了:On-Policy Distillation 的奖励信号陷阱

arXiv 2608.19408 盯上 OPD 范式的隐含假设:teacher 给的 token-level reward 当 reasoning progress 的代理变量。两者经常打架——某些高奖励的 token 反而在拖推理后腿。

字号

老师打分打偏了:On-Policy Distillation 的奖励信号陷阱

最近翻到一篇 arXiv 2608.19408,专门挑 On-Policy Distillation(OPD)的毛病。看完之后我对 post-training 这套范式的怀疑又多了一层。

OPD 的隐含假设:老师打分 ≈ 推理进步

先快速回顾下 OPD 是什么。

在后训练阶段,student 模型自己 roll 出 trajectory,teacher 模型给每个 token 打一个分数当作密集监督。这套做法现在用得很广——OpenAI 的 GPT 系列、DeepSeek 的 R1、Anthropic 的某些对齐工作,背后都有类似思路。

论文摘要里原话是:

pairing student-generated trajectories with dense token-level supervision from a teacher

也就是说,teacher 的打分直接当 token-level 的 dense reward 用。整个 OPD 范式建立在一个隐含假设上:teacher-derived rewards ≈ reasoning progress。

翻译成人话:老师觉得好的 token,就是 student 推理向前推进的 token。

假设为什么站不住

问题就出在这。论文作者发现这个假设经常不成立。

摘要直接说:

teacher-derived rewards often conflict with genuine reasoning progress

也就是 teacher 打的高分 token,不一定是真正推动推理前进的 token;某些被打高分的 token,反而是 reasoning step 的噪声,甚至让推理回退了一步。

这事儿其实不意外。Teacher 模型本身也在生成,它给的 token-level logprob 或者 reward,衡量的更多是「下一个最可能的 token」,而不是「这一步推理是否真的推进了」。

这两个东西在大多数情况下重合,但在 chain-of-thought 这种长链推理里,重合度会显著下降。

举个我自己的观察:我在跑 DeepSeek-R1-Distill 系列做下游任务时,让 student 写一段数学证明,teacher 给的高分 token 经常集中在「承接上文」的连接词和「看起来像推理」的套话上——而真正完成状态转移的关键等式变换,反而因为是低频表达被打低分。这跟论文的观察一致。

改进思路:按推理进度过滤 teacher feedback

论文提的解法挺直接:在 policy optimization 之前,先用 reasoning progress 当过滤器,把和真实推理进度冲突的 teacher feedback 筛掉。

摘要原话:

filtering teacher feedback by reasoning progress before policy optimization

这个 filter 的位置很关键。它不是改 loss,不是改 reward shaping,而是在 OPD 训练 loop 的最前端,先决定「这一段 trajectory 配不配拿 teacher 的打分做监督」。

我理解大致是这样:

# 伪代码:reasoning-progress-aware OPD
for trajectory in student_rollouts(trajectory_buffer):
    teacher_rewards = teacher.score(trajectory)  # token-level
    rp_scores = reasoning_progress(trajectory)   # 独立指标
    keep_mask = agreement(teacher_rewards, rp_scores)  # 只保留一致的
    if keep_mask.any():
        policy_optimization_step(trajectory[keep_mask], teacher_rewards[keep_mask])

reasoning_progress(trajectory) 怎么定义是这篇论文最核心的工程问题,也是我最想吐槽的地方——下面会说。

这意味着什么:post-training 的奖励设计被低估了

这篇论文真正戳到的是整个 post-training 圈子一个被低估的问题:reward signal 本身到底在衡量什么。

现在大家卷 RLHF、卷 DPO、卷 OPD、卷 process reward model(PRM),注意力基本都在:

  • loss function 怎么写
  • preference pair 怎么采
  • 怎么防止 reward hacking
  • 怎么上 KTO / IPO / SimPO

但很少有人停下来问:我这个 reward signal 真的在衡量我想让它衡量的东西吗?

OPD 范式默认 teacher 给的 token-level 监督 ≈ reasoning progress。这是一种「用模型的输出当 ground truth」的偷懒——而我们都知道,模型的输出不是 ground truth。

论文的 filter 思路,本质上是承认了这件事:teacher 的判断和真实进度不是一回事,所以要加一层独立验证。

这跟 RAG 圈子里「retrieval 不是 answer,所以要重排序」是一个道理——用模型的输出做监督之前,先验证它对不对。

如果这篇论文的观察成立,影响的不只是 OPD。任何把 LLM 当 scorer 用的下游工作(reward model、judge model、自动评测)都得重新审视一遍。

我看完的几个疑问

几个没解决的疑问:

1. reasoning progress 的 ground truth 从哪来?

这是最大的问题。Reasoning progress 听起来很美好,但「推理真的向前推进了」这件事本身就需要一个 oracle 来标注。如果是数学题可以用最终答案对不对;如果是开放式推理呢?

论文摘要没展开这块,我估计要么用 final outcome 当 weak signal,要么再训一个 PRM——但这样就回到了「用模型监督模型」的循环。

2. 会不会引入新的 reward hacking?

Student 在被过滤后的子集上优化,理论上完全可能学会「怎么写让 filter 觉得推理在推进」的写作风格。比如多写显式的中间步骤、多用「所以」「因此」之类的连接词——这些对最终答案正确率未必有帮助,但能骗过 progress 指标。

3. student 训练数据分布变化后,filter 是不是还稳?

这是另一个现实问题。Student 训练过程中分布会漂移,原本在 base model 上校准的 filter,到了训练后期的 checkpoint 上是否还 work?要不要定期重校准?这些工程细节论文没给。

4. 算力账

多一层 reasoning progress 的评估,每一步 student rollout 都要跑两次(前向 + progress 打分)。论文没提 overhead,对大规模训练来说这个倍数不小。

一句话总结

OPD 把 teacher 当裁判,但裁判自己也有偏见。这篇论文至少提醒了一件事:post-training 的算法创新卷到今天,下一个真正的瓶颈可能不在 loss,在 reward signal 的质量。

参考:arXiv 2608.19408

来源: https://arxiv.org/abs/2608.19408