框架

當 Teacher 頻頻誤判:OPD 獎勵訊號為何可能帶偏推理訓練

arXiv 2608.19408 檢視 On-Policy Distillation(OPD)的核心假設,指出 teacher 的 token-level reward 未必等同於推理進展。當獎勵與真實進度互相衝突時,高分 token 甚至可能拖累 student 的推理品質。

字級

最近讀到一篇 arXiv 2608.19408,專門檢視 On-Policy Distillation(OPD)的盲點。看完後,我對 post-training 這套方法又多了一層疑慮。

OPD 的隱含假設:Teacher 打分 ≈ 推理進展

先快速回顧 OPD 是什麼。

在 post-training 階段,student 模型自行 rollout 一段 trajectory,再由 teacher 模型為每個 token 評分,作為密集監督訊號。這種做法目前相當常見,包括 OpenAI 的 GPT 系列、DeepSeek 的 R1,以及 Anthropic 若干對齊工作,都能看到類似思路。

論文摘要的原文是:

pairing student-generated trajectories with dense token-level supervision from a teacher

換句話說,teacher 的評分會直接被當成 token-level dense reward。整個 OPD 範式建立在一項隱含假設上:teacher-derived rewards ≈ reasoning progress。

翻成白話就是:teacher 認為好的 token,就是真正讓 student 推理向前推進的 token。

這項假設為何站不住腳

問題就出在這裡。論文作者發現,這項假設經常不成立。

摘要直接指出:

teacher-derived rewards often conflict with genuine reasoning progress

也就是說,teacher 給予高分的 token,不見得是真正推動推理前進的 token;某些高分 token 反而只是 reasoning step 的雜訊,甚至可能讓推理退後一步。

這其實並不意外。Teacher 模型本身也在生成內容,它所提供的 token-level logprob 或 reward,衡量的更接近「下一個最可能的 token」,而不是「這一步推理是否真的有所進展」。

兩者在大多數情況下會重合,但到了 chain-of-thought 這類長鏈推理任務中,重合程度便會明顯下降。

以我使用 DeepSeek-R1-Distill 系列處理下游任務的經驗來看,要求 student 撰寫數學證明時,teacher 給予高分的 token,經常集中在承接上文的連接詞,以及看起來很像推理的制式說法;真正完成狀態轉移的關鍵等式變換,則可能因為表達頻率較低而得到較低分。這與論文觀察到的現象一致。

改進方向:依推理進度篩選 Teacher Feedback

論文提出的解法相當直接:在 policy optimization 之前,先以 reasoning progress 作為過濾器,排除與真實推理進度衝突的 teacher feedback。

摘要原文是:

filtering teacher feedback by reasoning progress before policy optimization

這個 filter 的位置至關重要。它不是修改 loss,也不是調整 reward shaping,而是在 OPD 訓練迴圈的最前端,先判斷「這段 trajectory 是否適合使用 teacher 評分作為監督訊號」。

我理解的做法大致如下:

# 偽代碼:reasoning-progress-aware OPD
for trajectory in student_rollouts(trajectory_buffer):
    teacher_rewards = teacher.score(trajectory)  # token-level
    rp_scores = reasoning_progress(trajectory)   # 獨立指標
    keep_mask = agreement(teacher_rewards, rp_scores)  # 只保留一致的
    if keep_mask.any():
        policy_optimization_step(trajectory[keep_mask], teacher_rewards[keep_mask])

reasoning_progress(trajectory) 該如何定義,是這篇論文最核心的工程問題,也是我最有疑慮的部分,以下會進一步說明。

這項研究揭示的問題:Post-Training 獎勵設計遭到低估

這篇論文真正點出的,是整個 post-training 領域長期低估的問題:reward signal 本身究竟在衡量什麼。

目前各家競逐 RLHF、DPO、OPD 與 process reward model(PRM),注意力多半放在:

  • loss function 該怎麼設計
  • preference pair 該怎麼採樣
  • 如何避免 reward hacking
  • 如何使用 KTO、IPO、SimPO

但很少有人停下來追問:眼前的 reward signal,真的衡量了我希望它衡量的目標嗎?

OPD 範式預設 teacher 的 token-level 監督 ≈ reasoning progress。這是一種「把模型輸出當成 ground truth」的省事做法,而模型輸出顯然不等於 ground truth。

論文提出 filter,實際上等同承認了這件事:teacher 的判斷與真實進度並非同一回事,因此需要加入一層獨立驗證。

這與 RAG 領域所說的「retrieval 不是 answer,所以需要 reranking」是同一個道理——在使用模型輸出作為監督訊號前,必須先驗證它是否正確。

如果這篇論文的觀察成立,受到影響的便不只有 OPD。任何把 LLM 當作 scorer 的下游方法,包括 reward model、judge model 與自動評測,都需要重新檢視。

讀完後留下的幾個疑問

目前仍有幾個問題尚未解決:

1. reasoning progress 的 ground truth 從哪裡來?

這是最大的問題。Reasoning progress 聽起來相當理想,但「推理是否真的向前推進」本身就需要 oracle 標註。數學題或許可以透過最終答案是否正確來判定,但開放式推理又該怎麼衡量?

論文摘要沒有展開這個部分。我猜做法要不是把 final outcome 當成 weak signal,就是另行訓練一個 PRM;然而如此一來,又會回到「以模型監督模型」的循環。

2. 是否可能引發新的 reward hacking?

Student 在經過篩選的子集上進行最佳化,理論上完全可能學會某種寫法,專門讓 filter 認為推理正在推進。例如增加顯式的中間步驟,多用「所以」「因此」等連接詞。這些做法未必能提高最終答案正確率,卻可能騙過 progress 指標。

3. student 的訓練資料分布改變後,filter 是否仍然穩定?

這是另一個實際問題。Student 訓練期間的分布會逐漸漂移,原本依 base model 校準的 filter,到了訓練後期的 checkpoint 上是否仍然有效?是否需要定期重新校準?這些工程細節在論文中並未交代。

4. 算力成本

多增加一層 reasoning progress 評估後,每個 student rollout 都要執行兩次計算:一次 forward,一次 progress scoring。論文沒有提到 overhead,對大規模訓練而言,這個成本倍增並不少。

一句話總結

OPD 把 teacher 當成裁判,但裁判本身也會有偏誤。這篇論文至少提醒了一件事:post-training 的演算法發展到今天,下一個真正的瓶頸或許不在 loss,而在 reward signal 的品質。

參考:arXiv 2608.19408

來源: https://arxiv.org/abs/2608.19408