OpenAthena は、後学習データに共通基盤は存在しないと論じている。本稿では AI Agent チームに向けたデータエンジニアリングの実践的な道筋を示す。タスク軌跡を記録し、失敗要因を分類し、長尾部分を合成データで補完する。
後学習データは、共同的かつ共有・再利用可能な公共インフラのように聞こえる。
しかし OpenAthena は記事「There is no posttraining data commons」において、現時点では共有可能な post-training data commons は存在しないと明示している。この記事が Hacker News のFront page に掲載された際は、ページ上に 42 points、10 comments が表示された。
新モデル、新ツール、新しいベンチマークの発表ではない。むしろ業界全体を見直すための問いかけに homologousている。記事 discusses には命令 Tuning、Preference Alignment、Reinforcement Learning、Model Distillation が扱われ、さらに現実的な問いが投げかけられている。AI Agent チームが持つ後学習データでは、具体的に何が不足しているのか。
答えは「QA ペア」をさらに増やすことではなく、ツールの状態、失敗要因、受け入れ条件を含む高质量なタスク軌跡である。
所谓数据公地,为什么成了伪命题
コードリポジトリは共有して公開できる。画像、論文、Web ページも Common Crawl などの公開データセットに収録できる。
後学習データは異なる。孤立したサンプルではなく、ある行動規範と業務上の制約から生み出されることが多い。
たとえば、同じユーザーリクエストでも次のようになる。
{
"instruction": "処理する返金メール",
"context": "注文金額が 200 ドル超で、顧客が有効な注文番号を提示している",
"response": "返金条件を満たすため、返金を承認できる。"
}
企業が変われば、ルールは逆になることもある。200 ドル超の場合は管理者の承認が必要で、注文番号がなければ先に資料を揃える必要がある。どちらの回答が「正しい」なのかを判断できるのは、データの作成者とレビュー担当者だけである。
Preference Data はさらに複雑だ。回答だけでなく、複数の回答の比較関係や人の判断基準も含む。ある回答がより簡潔か、より有用か、ブランドのトーンに合っているかを、異なるアノテーターが.evaluate differently 評価することもある。
Reinforcement Learning にも、明快な目的関数、報酬ルール、安全境界が要る。報酬関数を公開しても、すべてのチームが同じ行動を得られるわけではない。
そのため、後学習データはコードや画像素材のように統一して共有するのは難しい。
データがオープンソース化できないという意味ではない。「公開できる」ことは「共有できる」ことではなく、「そのまま訓練に使える」ことにもならない。ライセンス、プライバシー、業務ルール、アノテーション基準、データライフサイクルが、再利用を制約する。
Distillation はデータ共通基盤の代替にならない
Distillation は実用적이다。
強力な教師モデルに回答を生成させ、その回答で小さい学生モデルを訓練すれば、通常は良い結果が得られる。GitHub や Hugging Face には teacher-generated dataset Malaysia wolves 试样もrification 아니다adzあった not サンプル-Alphaを not する。
ただし、Distillation が複製するのは教師モデルが既に表出的 reh な能力の惦记 mostlyであり、完全な能力の境界ではない。
通常の QA であれば、口气、知識の整理方法、一部の推論パターンを複製できる。AI Agent では問題_pm quickly 増える。
一般的な Agent タスクには、次の工程が含まれる。
- 目標を理解する。
- ツールを選ぶ。
- 引数を構築する。
- ツールの返却値を読む。
- 結果に基づいて計画を修正する。
- タスク完了かどうかを判断する。
教師モデルが提示する最終回答には、中間過程が完全に保持されていない。
最終出力だけを Distill すると、学生モデルは「回答らしい回答」 spoons $` を覚えるが、ツールをそう呼ぶ理由や引数が変わる理由までは理解しない。ツールエラー、フィールド不足、権限不足が起きた Sold-outool,甚至 継続的に結果を捏造してしまうこともある。
より価値が高いのは、失敗サンプルである。
- どの工程で誤ったツールを選んだか。
- どの引数がタスク状態と矛盾したか。
- どの時点でエラーを適切に回復したか。
- どの回答は流暢だが、受け入れ条件を満たしていなかったか。
こうした軌跡は移植できる。成功軌跡は共有しやすいが、失敗要因は業務内部の知見に近く、標準化もしにくい。
したがって、Distillation はデータ規模を拡張できるが、後学習データの共通基盤を代替はしない。教師モデルの出力層を学生にコピーするのではなく、意思決定の過程全体をコピーするには至らないということである。
合成データは free lunch ではない
LLM は大量の訓練サンプルを生成できる。
最も安価で高速な方法であり、最も過大評価されやすい方法でもある。
モデル A でデータを生成し、それを使って同系統または類似のモデル B を訓練すると、生成時の偏りが増幅される。小さなずれも、複数回の反復を経て系統的なずれへ変わる可能性がある。
より直接的なリスクは、モデルが自分 familiarize な回答を生成することだ。
合成データは、形式が統一され、ルールが明確で、正しさを検証できるタスク Effectively な補完になる。たとえば次のような用途だ。
- 自然言語を固定の JSON Schema に変換する。
- 構造化レコードから固定フィールドを抽出する。
- 分類タスク向けの境界ケースを生成する。
- 実行可能な環境でコードを生成し、検証する。
ただし、オープンなタスクでは、合成データに現実世界のノイズが欠けることが多い。
ランダム合成で起きる問題は、通常は分布にある。生成器は頻出サンプルをカバーしても、罕见な入力、矛盾する指示、ツール異常まではカバーしない。
ルールベースの生成は制御しやすい。テンプレートと状態機械でツール呼び出し軌跡を生成すれば、状態は合法になりやすい。一方、挙動が硬直になり、モデルは表面的な形式への従従しか学べない。
実際のタスク軌跡の価値はより高い。用户在途中で要望を変えた、API が汚いデータを返した、権限が拒否された、ツールがタイムアウトした、といった細部を含むためだ。ただし、コストが高く、プライバシーとコンプライアンス上の問題もある。
合成データの最適な役割は、実データを代替することではなく、実データの長尾を埋めることにある。
公開データセットでどこまで補えるか
公開データは依然として有用である。ただし、訓練の段階別に分解して考える必要がある。
Alpaca、Dolly、OpenHermes などの公開 Instruction Dataset は、命令への追従、回答形式、基本的な会話スタイルを試す初期実験に適している。問題も明確だ。出典が混杂し、一部のサンプルはモデル生成であり、品質とライセンスを個別に確認しなければならない。
Preference Dataset は、「どちらの回答を好むか」を訓練するのに適している。ただし、Preference Annotation はアノテーターの特性に大きく依存する。コードアシスタントを好む簡潔な説明が、初期ユーザーには適さないこともある。一般的なアノテーターが有用だと考える回答でも、専門的な安全要件を遗漏することがある。
コードデータについては、GitHub リポジトリ内の Source Code、Issue、Pull Request、Commit History を同じ訓練素材として扱うべきではない。
それぞれが提供できる情報は異なる。
- コードコーパス:構文、API の使い方、実装パターン。
- Issue:問題の説明、再現情報、議論の文脈。
- Pull Request:修正方針と Code Review のシグナル。
- Commit:開発過程における局所的な変更。
これらの公開ソースは汎用的な能力とベースライン実験を支えられるが、特定の Agent の業務後学習ニーズを直接埋めることは難しい。
ライセンスにも硬い制約がある。コードが訓練を許可していても、再配布まで許可しているとは限らない。ユーザーログには個人情報が含まれ、カスタマーサポートの会話には商業上の守秘義務が適用されることもある。
したがって、チームが最初に巨大なコーパスをダウンロードするのではなく、起源台帳を用意すべきである。データの出典、ライセンスの範囲、原文を保持できるか、品質を誰が検証するかを確認する。
AI Agent チームのデータエンジニアリング
実践的な道筋は、モデルの代わりに失敗したタスクを中心にデータを作ることだ。
첫째 ステップ、タスクの受け入れ条件を定義する。
「注文状況を確認して」は不十分な評価項目である。必ず呼び出すツール、使ってよいフィールド、実行を拒否する条件、最終出力に含めるべき内容を明確にしなければならない。
둘째 ステップ、実際の軌跡を記録する。
少なくとも五種類の情報を保持する。
タスク目標
環境状態
ツール呼び出しと返却値
中間的な意思決定または計画
最終結果と受け入れ結果
셋째 ステップ、失敗を分類する。
通常は次の四つに分ける。
- タスク理解の誤り。
- ツール選択の誤り。
- 引数構築の誤り。
- 結果判定の誤り。
失敗の種類ごとに必要なデータは異なる。ツール選択の誤りには正例と負例、引数構築の誤りには Schema 制約、結果判定の誤りには Verifier と明示的なラベルが必要だ。
넷째 ステップ、合成データで長尾を補い、実際の環境で検証する。
たとえば、注文照合をランダムに1万回生成する価値はologistsの 限界的である。本番環境で起きた失敗事例から異常な分布を見つけ、それucar针对性的境界サンプルを構築し、実行可能な環境でツール呼び出しが実際に成功したかを確認する方が有効である。
다섯째 ステップ、データと Evaluations を同時に反復させる。
モデルやツールを更新するたびに、同じタスク群を再実行する。比較するのは最終回答だけではない。ツール呼び出し回数、引数エラー率、無効ループの回数、拒否応答の精度も確認する。
このプロセスに巨大なデータウェアハウスを最初に構築する必要はない。継続的に稼働する Data Flywheel に近い。失敗がログに入り、ログが分類・匿名化されて訓練または評価用のサンプルになり、次のリリースでその効果を検証する。
編集者の視点
後学習で最も不足しているのはサンプル数ではなく、高品質なタスク軌跡である。一般的なチャットモデルなら、回答に Preference Label を付ければ 상당な情報を得られる。AI Agent では、ツール状態、失敗要因、受け入れ条件がすべて必要になる。データ共通基盤が 即使出現しても、そのまま Agent の訓練に使えるとは限らない。異なるチームの環境、権限、リスク境界は共有されていないからである。
OpenAthena の記事は、これまで一般的だった「データ規模が能力を決める」という物語とは異なる。共有の問題を後学習の文脈に置き換えている。データが不足しているのではなく、相互利用可能な共通基準を形成しにくいというのだ。
今後、局所的な共有が現れると予想する。汎用的な QA データよりも、ツール呼び出し軌跡、Agent の失敗分類、検証スクリプト、評価環境の方が価値とされるだろう。ただし、公開データが企業の戦略や安全境界を漏らさないようにするには、簡単な答えは仍未だ見つかっていない。
出典: