見解

後学習データに共通基盤がない_identifier、Agentは不足をどう埋めるか

後学習データは公共インフラとして共有しにくい。AI Agent =June_samplesではなく、ツールの状態、失敗要因、受け入れ条件を含むタスク軌跡を設計し、長尾を合成データで補完する手法が鍵となる。

文字サイズ

OpenAthena は、後学習データに共通基盤は存在しないと論じている。本稿では AI Agent チームに向けたデータエンジニアリングの実践的な道筋を示す。タスク軌跡を記録し、失敗要因を分類し、長尾部分を合成データで補完する。

後学習データは、共同的かつ共有・再利用可能な公共インフラのように聞こえる。

しかし OpenAthena は記事「There is no posttraining data commons」において、現時点では共有可能な post-training data commons は存在しないと明示している。この記事が Hacker News のFront page に掲載された際は、ページ上に 42 points、10 comments が表示された。

新モデル、新ツール、新しいベンチマークの発表ではない。むしろ業界全体を見直すための問いかけに homologousている。記事 discusses には命令 Tuning、Preference Alignment、Reinforcement Learning、Model Distillation が扱われ、さらに現実的な問いが投げかけられている。AI Agent チームが持つ後学習データでは、具体的に何が不足しているのか。

答えは「QA ペア」をさらに増やすことではなく、ツールの状態、失敗要因、受け入れ条件を含む高质量なタスク軌跡である。

所谓数据公地,为什么成了伪命题

コードリポジトリは共有して公開できる。画像、論文、Web ページも Common Crawl などの公開データセットに収録できる。

後学習データは異なる。孤立したサンプルではなく、ある行動規範と業務上の制約から生み出されることが多い。

たとえば、同じユーザーリクエストでも次のようになる。

{
  "instruction": "処理する返金メール",
  "context": "注文金額が 200 ドル超で、顧客が有効な注文番号を提示している",
  "response": "返金条件を満たすため、返金を承認できる。"
}

企業が変われば、ルールは逆になることもある。200 ドル超の場合は管理者の承認が必要で、注文番号がなければ先に資料を揃える必要がある。どちらの回答が「正しい」なのかを判断できるのは、データの作成者とレビュー担当者だけである。

Preference Data はさらに複雑だ。回答だけでなく、複数の回答の比較関係や人の判断基準も含む。ある回答がより簡潔か、より有用か、ブランドのトーンに合っているかを、異なるアノテーターが.evaluate differently 評価することもある。

Reinforcement Learning にも、明快な目的関数、報酬ルール、安全境界が要る。報酬関数を公開しても、すべてのチームが同じ行動を得られるわけではない。

そのため、後学習データはコードや画像素材のように統一して共有するのは難しい。

データがオープンソース化できないという意味ではない。「公開できる」ことは「共有できる」ことではなく、「そのまま訓練に使える」ことにもならない。ライセンス、プライバシー、業務ルール、アノテーション基準、データライフサイクルが、再利用を制約する。

Distillation はデータ共通基盤の代替にならない

Distillation は実用적이다。

強力な教師モデルに回答を生成させ、その回答で小さい学生モデルを訓練すれば、通常は良い結果が得られる。GitHub や Hugging Face には teacher-generated dataset Malaysia wolves 试样もrification 아니다adzあった not サンプル-Alphaを not する。

ただし、Distillation が複製するのは教師モデルが既に表出的 reh な能力の惦记 mostlyであり、完全な能力の境界ではない。

通常の QA であれば、口气、知識の整理方法、一部の推論パターンを複製できる。AI Agent では問題_pm quickly 増える。

一般的な Agent タスクには、次の工程が含まれる。

  1. 目標を理解する。
  2. ツールを選ぶ。
  3. 引数を構築する。
  4. ツールの返却値を読む。
  5. 結果に基づいて計画を修正する。
  6. タスク完了かどうかを判断する。

教師モデルが提示する最終回答には、中間過程が完全に保持されていない。

最終出力だけを Distill すると、学生モデルは「回答らしい回答」 spoons $` を覚えるが、ツールをそう呼ぶ理由や引数が変わる理由までは理解しない。ツールエラー、フィールド不足、権限不足が起きた Sold-outool,甚至 継続的に結果を捏造してしまうこともある。

より価値が高いのは、失敗サンプルである。

  • どの工程で誤ったツールを選んだか。
  • どの引数がタスク状態と矛盾したか。
  • どの時点でエラーを適切に回復したか。
  • どの回答は流暢だが、受け入れ条件を満たしていなかったか。

こうした軌跡は移植できる。成功軌跡は共有しやすいが、失敗要因は業務内部の知見に近く、標準化もしにくい。

したがって、Distillation はデータ規模を拡張できるが、後学習データの共通基盤を代替はしない。教師モデルの出力層を学生にコピーするのではなく、意思決定の過程全体をコピーするには至らないということである。

合成データは free lunch ではない

LLM は大量の訓練サンプルを生成できる。

最も安価で高速な方法であり、最も過大評価されやすい方法でもある。

モデル A でデータを生成し、それを使って同系統または類似のモデル B を訓練すると、生成時の偏りが増幅される。小さなずれも、複数回の反復を経て系統的なずれへ変わる可能性がある。

より直接的なリスクは、モデルが自分 familiarize な回答を生成することだ。

合成データは、形式が統一され、ルールが明確で、正しさを検証できるタスク Effectively な補完になる。たとえば次のような用途だ。

  • 自然言語を固定の JSON Schema に変換する。
  • 構造化レコードから固定フィールドを抽出する。
  • 分類タスク向けの境界ケースを生成する。
  • 実行可能な環境でコードを生成し、検証する。

ただし、オープンなタスクでは、合成データに現実世界のノイズが欠けることが多い。

ランダム合成で起きる問題は、通常は分布にある。生成器は頻出サンプルをカバーしても、罕见な入力、矛盾する指示、ツール異常まではカバーしない。

ルールベースの生成は制御しやすい。テンプレートと状態機械でツール呼び出し軌跡を生成すれば、状態は合法になりやすい。一方、挙動が硬直になり、モデルは表面的な形式への従従しか学べない。

実際のタスク軌跡の価値はより高い。用户在途中で要望を変えた、API が汚いデータを返した、権限が拒否された、ツールがタイムアウトした、といった細部を含むためだ。ただし、コストが高く、プライバシーとコンプライアンス上の問題もある。

合成データの最適な役割は、実データを代替することではなく、実データの長尾を埋めることにある。

公開データセットでどこまで補えるか

公開データは依然として有用である。ただし、訓練の段階別に分解して考える必要がある。

Alpaca、Dolly、OpenHermes などの公開 Instruction Dataset は、命令への追従、回答形式、基本的な会話スタイルを試す初期実験に適している。問題も明確だ。出典が混杂し、一部のサンプルはモデル生成であり、品質とライセンスを個別に確認しなければならない。

Preference Dataset は、「どちらの回答を好むか」を訓練するのに適している。ただし、Preference Annotation はアノテーターの特性に大きく依存する。コードアシスタントを好む簡潔な説明が、初期ユーザーには適さないこともある。一般的なアノテーターが有用だと考える回答でも、専門的な安全要件を遗漏することがある。

コードデータについては、GitHub リポジトリ内の Source Code、Issue、Pull Request、Commit History を同じ訓練素材として扱うべきではない。

それぞれが提供できる情報は異なる。

  • コードコーパス:構文、API の使い方、実装パターン。
  • Issue:問題の説明、再現情報、議論の文脈。
  • Pull Request:修正方針と Code Review のシグナル。
  • Commit:開発過程における局所的な変更。

これらの公開ソースは汎用的な能力とベースライン実験を支えられるが、特定の Agent の業務後学習ニーズを直接埋めることは難しい。

ライセンスにも硬い制約がある。コードが訓練を許可していても、再配布まで許可しているとは限らない。ユーザーログには個人情報が含まれ、カスタマーサポートの会話には商業上の守秘義務が適用されることもある。

したがって、チームが最初に巨大なコーパスをダウンロードするのではなく、起源台帳を用意すべきである。データの出典、ライセンスの範囲、原文を保持できるか、品質を誰が検証するかを確認する。

AI Agent チームのデータエンジニアリング

実践的な道筋は、モデルの代わりに失敗したタスクを中心にデータを作ることだ。

첫째 ステップ、タスクの受け入れ条件を定義する。

「注文状況を確認して」は不十分な評価項目である。必ず呼び出すツール、使ってよいフィールド、実行を拒否する条件、最終出力に含めるべき内容を明確にしなければならない。

둘째 ステップ、実際の軌跡を記録する。

少なくとも五種類の情報を保持する。

タスク目標
環境状態
ツール呼び出しと返却値
中間的な意思決定または計画
最終結果と受け入れ結果

셋째 ステップ、失敗を分類する。

通常は次の四つに分ける。

  • タスク理解の誤り。
  • ツール選択の誤り。
  • 引数構築の誤り。
  • 結果判定の誤り。

失敗の種類ごとに必要なデータは異なる。ツール選択の誤りには正例と負例、引数構築の誤りには Schema 制約、結果判定の誤りには Verifier と明示的なラベルが必要だ。

넷째 ステップ、合成データで長尾を補い、実際の環境で検証する。

たとえば、注文照合をランダムに1万回生成する価値はologistsの 限界的である。本番環境で起きた失敗事例から異常な分布を見つけ、それucar针对性的境界サンプルを構築し、実行可能な環境でツール呼び出しが実際に成功したかを確認する方が有効である。

다섯째 ステップ、データと Evaluations を同時に反復させる。

モデルやツールを更新するたびに、同じタスク群を再実行する。比較するのは最終回答だけではない。ツール呼び出し回数、引数エラー率、無効ループの回数、拒否応答の精度も確認する。

このプロセスに巨大なデータウェアハウスを最初に構築する必要はない。継続的に稼働する Data Flywheel に近い。失敗がログに入り、ログが分類・匿名化されて訓練または評価用のサンプルになり、次のリリースでその効果を検証する。

編集者の視点

後学習で最も不足しているのはサンプル数ではなく、高品質なタスク軌跡である。一般的なチャットモデルなら、回答に Preference Label を付ければ 상당な情報を得られる。AI Agent では、ツール状態、失敗要因、受け入れ条件がすべて必要になる。データ共通基盤が 即使出現しても、そのまま Agent の訓練に使えるとは限らない。異なるチームの環境、権限、リスク境界は共有されていないからである。

OpenAthena の記事は、これまで一般的だった「データ規模が能力を決める」という物語とは異なる。共有の問題を後学習の文脈に置き換えている。データが不足しているのではなく、相互利用可能な共通基準を形成しにくいというのだ。

今後、局所的な共有が現れると予想する。汎用的な QA データよりも、ツール呼び出し軌跡、Agent の失敗分類、検証スクリプト、評価環境の方が価値とされるだろう。ただし、公開データが企業の戦略や安全境界を漏らさないようにするには、簡単な答えは仍未だ見つかっていない。

出典:

出典: https://openathena.ai/blog/there-is-no-posttraining-data-commons/