フレームワーク

教師の採点はズレている——On-Policy Distillation が抱える報酬信号の落とし穴

arXiv 2608.19408 が OPD パラダイムの暗黙の前提にメスを入れた。teacher が与える token-level reward を reasoning progress の代理指標とみなす設計が、推論そのものを阻害するケースを指摘している。

文字サイズ

最近 arXiv 2608.19408 を読んで、On-Policy Distillation(OPD)の問題を真正面から扱った論文を見つけた。読み終えて、post-training 全体のパラダイムに対する疑いがさらに膨らんだ。

OPD の暗黙の前提:教師の採点 ≈ 推論の前進

まず OPD について簡単に振り返っておく。

post-training の段階では、student モデル自身が trajectory を rollout し、teacher モデルが各 token にスコアをつけて密集的な教師信号とする。この手法は現在広く使われており、OpenAI の GPT シリーズ、DeepSeek の R1、Anthropic のアライメント関連の研究など、類似したアプローチが背後にある。

論文の abstract にはこうある:

pairing student-generated trajectories with dense token-level supervision from a teacher

つまり、teacher のスコアを token-level の dense reward として直接使うわけだ。OPD パラダイム全体が、暗黙の前提の上に成り立っている:teacher-derived rewards ≈ reasoning progress。

かみ砕くとこうなる。教師が良いと判断した token は、student の推論を前へ進める token である——という前提だ。

なぜその前提が崩れるのか

問題はまさにこの点にある。論文の著者らは、この前提が成り立たないケースが多いことを発見した。

abstract はこう指摘している:

teacher-derived rewards often conflict with genuine reasoning progress

つまり、teacher が高スコアをつけた token が、必ずしも推論を本当に前へ進める token とは限らない。むしろ高スコアの token の一部は、reasoning step のノイズになり、推論を後退させることすらある。

これは驚くべきことではない。teacher モデル自体も生成モデルであり、token-level logprob や reward として返す値は「次に来るもっともらしい token」を測っているにすぎない。それが「このステップで推論が本当に進んだか」という問いと一致する保証はない。

両者は多くの場面で重なるが、chain-of-thought のような長鎖推論になると、一致度は顕著に落ちる。

私自身が観察した例を紹介すると、DeepSeek-R1-Distill シリーズを下流タスクで fine-tune していたとき、student に数学の証明を書かせると、teacher が高スコアをつける token は「上文を受ける接続詞」や「推論っぽい定型句」に集中していた。一方で、状態遷移を完了させる关键的な等式変形は、出現頻度が低いために低スコアになっていた。これは論文の観察と一致する。

改善の方向性:reasoning progress による教師 feedback のフィルタリング

論文が提案する解決策は straightforward だ。policy optimization の前に reasoning progress を filter として使い、真の推論進捗と衝突する teacher feedback を切り捨てる。

abstract の記述:

filtering teacher feedback by reasoning progress before policy optimization

この filter の配置ポイントが重要だ。loss を変えるわけでも、reward shaping に手を入れるわけでもない。OPD 訓練ループの最前段に置いて、「この trajectory は teacher のスコアで教師信号を受けていいのか」を先に判定する。

私の理解は大まかにこうだ:

# 擬似コード:reasoning-progress-aware OPD
for trajectory in student_rollouts(trajectory_buffer):
    teacher_rewards = teacher.score(trajectory)  # token-level
    rp_scores = reasoning_progress(trajectory)   # 独立指標
    keep_mask = agreement(teacher_rewards, rp_scores)  # 一致したものだけ残す
    if keep_mask.any():
        policy_optimization_step(trajectory[keep_mask], teacher_rewards[keep_mask])

reasoning_progress(trajectory) をどう定義するかこそが、この論文のもっとも核心的なエンジニアリング課題であり、同時に私が一番気になる点でもある。続く節で触れる。

この論文が示す意味:post-training における報酬設計は過小評価されている

この論文が本当に刺しているのは、post-training コミュニティ全体で見落とされてきた問題だ:reward signal 自体が、一体何を測っているのか。

いまや RLHF、DPO、OPD、process reward model(PRM)と次々に新しい手法が提案されているが、議論の焦点は大抵ここに置かれている:

  • loss function の書き方
  • preference pair のサンプリング方法
  • reward hacking の防止策
  • KTO / IPO / SimPO への拡張

しかし、「この reward signal は本当に、自分が測りたいものを測っているのか」と立ち止まって問う人は少ない。

OPD パラダイムは、teacher が与える token-level 教師信号 ≈ reasoning progress と暗黙に仮定している。これは「モデルの出力を ground truth として使う」という一種の近道だ。そして周知の通り、モデルの出力は ground truth ではない。

論文が提案する filter のアプローチは、本質的にこの事実を認めている。teacher の判断と真の進捗は別物だからこそ、独立した検証層を挟む必要がある。

これは RAG の世界で言われる「retrieval は answer ではない、だから rerank が必要」と同じ構造だ——モデルの出力を教師信号に使う前に、それが正しいかを検証せよ。

もしこの論文の観察が正しければ、影響を受けるのは OPD だけではない。LLM を scorer として使うあらゆる下流研究(reward model、judge model、自動評価)は再点検を迫られる。

読み終えて残った疑問

いくつか解消されない問いが残った。

1. reasoning progress の ground truth はどこから来る?

これが最大の問いだ。reasoning progress という概念は聞こえが良いが、「推論が本当に前へ進んだ」という事実自体に oracle によるラベルが必要になる。数学の問題なら最終答えの正否を使えるかもしれないが、オープンエンドな推論ではどうするのか。

abstract にはこの点に関する記述がなく、おそらく final outcome を weak signal として使うか、別の PRM を追加で訓練するかのいずれかだろう。だがそれは結局「モデルでモデルを監視する」ループに戻ってしまう。

2. 新たな reward hacking を生まないか?

student は filter 後のサブセットに対して最適化される以上、「filter にとって推論が進んでいるように見える書き方」を学習する可能性は十分にある。たとえば明示的な中間ステップを増やす、「したがって」「ゆえに」といった接続詞を多用する。こうした書き方は最終的な答えの正しさには寄与しないかもしれないが、progress 指標を騙すことには繋がりうる。

3. student の訓練データ分布が変わったとき、filter は安定して動くか?

これも現実的な問題だ。student の訓練が進むと分布は drift する。base model 上で calibration した filter が、訓練後期の checkpoint でも機能するのか。定期的な再 calibration は必要か。こうしたエンジニアリング上の詳細は論文では触れられていない。

4. 計算コストの試算

reasoning progress の評価が加わることで、student rollout ごとに推論が二回走る(前向 + progress スコアリング)。論文には overhead への言及がなく、大規模訓練では無視できない倍率になる。

一言でまとめると

OPD は teacher を審判として扱うが、審判もまた偏見を持つ。この論文が少なくとも示しているのは、post-training のアルゴリズム革新がここまで進んだ次に来る本当のボトルネックは loss ではなく、reward signal の品質かもしれない、ということだ。

参考:arXiv 2608.19408

出典: https://arxiv.org/abs/2608.19408