OpenAthena 認為,後訓練資料公共池並不存在。對 AI Agent 團隊而言,資料工程的重點不是累積更多樣本,而是建立高品質任務軌跡,記錄工具狀態、失敗原因與驗收標準,再透過合成資料補足長尾需求。
後訓練資料聽起來像是一套可以共同建立、下載並重用的公共基礎設施。
但 OpenAthena 在文章〈There is no posttraining data commons〉中直接指出,目前並不存在可供共享的 post-training data commons。文章登上 Hacker News 首頁時,頁面顯示為 42 points、10 則留言。
這不是新模型、新工具或新基準的發布,更像是一場產業體檢。文章討論指令微調、偏好對齊、強化學習與模型蒸餾,也提出一個更貼近實務的問題:AI Agent 團隊手中的後訓練資料,究竟缺少什麼?
我的答案是:缺的不是更多「問答配對」,而是包含工具狀態、失敗原因與驗收標準的高品質任務軌跡。
所謂資料公共池,為何成了偽命題
程式碼仓库可以公開共享,圖片、論文與網頁也能納入 Common Crawl 一類的公共資料集。
後訓練資料卻不盡相同。它往往不是孤立的單一樣本,而是某套行為標準與業務限制共同作用的產物。
例如,同一個使用者請求:
{
"instruction": "處理這封退款郵件",
"context": "訂單金額超過 200 美元,且客戶提供了有效訂單號",
"response": "符合退款條件,可以批准退款。"
}
換一家公司,規則可能完全相反:超過 200 美元須經主管核准,缺少訂單號則必須先補齊資料。究竟哪個答案才算「正確」?只有資料生產者與審核者清楚。
偏好資料更麻煩。它記錄的不只是答案,也包含比較關係與人的判斷標準。某個回答更精簡、更有幫助,還是更符合品牌語氣?不同標註者可能得出不同結果。
強化學習同樣需要明確的目標函式、獎勵規則與安全邊界。公開獎勵函式,不代表任何團隊都能訓練出相同行為。
因此,後訓練資料很難像程式碼或圖片素材一樣統一共享。
這並不表示資料不能開源,而是「可公開」不等於「可共享」,更不等於「能直接用於訓練」。授權條款、隱私要求、業務規則、標註口徑與資料生命週期,都會限制再利用。
蒸餾無法取代資料公共池
蒸餾很實用。
先讓能力更強的教師模型產生回答,再用這些回答訓練較小的學生模型,通常能取得不錯的效果。GitHub 與 Hugging Face 上也有許多 teacher-generated dataset。
但蒸餾複製的主要是教師模型已展現的能力,而非完整的能力邊界。
對一般問答而言,蒸餾可以複製語氣、知識組織方式與部分推理模式;對 AI Agent 而言,問題很快就會增加。
一項 Agent 任務通常包含以下步驟:
- 理解目標。
- 選擇工具。
- 建構參數。
- 讀取工具回傳結果。
- 依據結果修正計畫。
- 判斷任務是否完成。
教師模型給出的最終答案,並未完整保留中間過程。
若只蒸餾最終輸出,學生模型可能學會「像答案一樣回答」,卻不知道工具為何如此呼叫、參數為何改變。遇到工具錯誤、欄位缺漏或權限不足時,它甚至可能繼續捏造結果。
更有價值的是失敗樣本:
- 在哪一步選錯工具。
- 哪個參數與任務狀態衝突。
- 哪次錯誤復原及時奏效。
- 哪種回答雖然流暢,卻未滿足驗收條件。
這些軌跡可以遷移。成功軌跡通常容易共享,失敗原因則往往最接近業務內部經驗,也最難以標準化。
所以,蒸餾可以擴充資料規模,卻無法取代後訓練資料公共池。它比較像是把教師模型的輸出層複製給學生,而不是完整複製其決策過程。
合成資料不是免費午餐
LLM 可以批次產生訓練樣本。
這是成本最低、速度最快的做法,也是最容易被高估的做法。
如果以模型 A 產生資料,再用同源或近似的模型 B 進行訓練,生成偏誤就會被放大。原本的小偏差,可能在多輪迭代後演變為系統性偏差。
更直接的風險是,模型只會產生自己熟悉的答案。
合成資料適合補足格式一致、規則明確且正確性可驗證的任務,例如:
- 將自然語言轉換為固定的 JSON Schema。
- 從結構化紀錄擷取固定欄位。
- 為分類任務產生邊界案例。
- 在可執行環境中產生並驗證程式碼。
但面對開放式任務時,合成資料經常缺少真實世界中的雜訊。
隨機合成產生的問題通常出在資料分布。產生器涵蓋了常見樣本,卻未涵蓋罕見輸入、衝突指令與工具異常。
規則式產生較可控,例如利用模板與狀態機產生工具呼叫軌跡。其優點是狀態合法,缺點則是行為僵硬,模型可能只學會遵循表面格式。
真實任務軌跡的價值更高,因為其中包含使用者臨時變更需求、介面回傳髒資料、權限遭拒與工具逾時等細節。不過,這類資料成本高,也涉及隱私與合規問題。
合成資料最適合的位置不是取代真實資料,而是補上真實資料中的長尾案例。
開放資料集能補足多少
開放資料仍然有用,只是必須依訓練層次拆開檢視。
Alpaca、Dolly 與 OpenHermes 等公開指令集,適合用於指令遵循、回答格式與基礎對話風格的初步實驗。問題也很明顯:來源混雜,部分樣本由模型生成,品質與授權狀況都得逐項查核。
偏好資料集適合訓練模型辨識「偏好哪一種回答」。但偏好標註高度依賴標註者背景。程式碼助手偏好的精簡解釋,未必適合入門使用者;一般標註者認為有幫助的回答,也可能遺漏專業安全要求。
程式碼資料則需要更細緻地區分。GitHub 倉庫中的原始碼、issue、pull request 與 commit 紀錄,並非同一種訓練素材。
它們分別能提供:
- 程式碼語料:語法、API 使用方式與實作模式。
- Issue:問題描述、重現資訊與討論脈絡。
- Pull request:修改方案與程式碼審查訊號。
- Commit:開發過程中的局部變更。
這些開放來源能支撐通用能力與基準實驗,卻難以直接補足特定 Agent 的業務後訓練需求。
授權也是硬性限制。程式碼可能允許用於訓練,卻不一定能再散布;使用者日誌可能含有個人資訊;客服對話則可能受到商業保密義務約束。
因此,團隊該做的不是先下載最大的語料庫,而是建立來源清單:資料來自何處、授權涵蓋哪些用途、能否保留原始紀錄,以及品質由誰驗證。
AI Agent 團隊的資料工程路線
務實做法是圍繞失敗任務建立資料,而不是圍繞模型堆積語料。
第一步,定義任務驗收標準。
「查一下訂單狀態」不是合格的評測項目。必須明確規定:應呼叫哪個工具、可使用哪些欄位、哪些情況應拒絕執行,以及最終輸出需要包含哪些內容。
第二步,記錄真實軌跡。
至少保留五類資訊:
任務目標
環境狀態
工具呼叫與回傳
中間決策或計畫
最終結果與驗收結果
第三步,分類失敗原因。
我通常會分成四類:
- 任務理解錯誤。
- 工具選擇錯誤。
- 參數建構錯誤。
- 結果判斷錯誤。
不同錯誤需要不同的資料。工具選擇錯誤要補充正反例;參數錯誤要加上 schema 約束;結果判斷錯誤則需要驗證器與明確標籤。
第四步,以合成資料補足長尾,並在真實環境中驗證。
例如,隨機產生一萬次訂單查詢沒有多大價值。更有用的方式是先從線上失敗案例找出異常分布,再針對這些情況建構邊界樣本,並於可執行環境中檢查工具呼叫是否確實成功。
第五步,讓資料與評測同步迭代。
每次模型或工具更新後,都重跑同一批任務。比較的項目不只有最終答案,還包括工具呼叫次數、參數錯誤率、無效循環次數與拒答準確率。
這套流程不必預先建立龐大的資料倉庫。它更像一個持續運作的資料飛輪:失敗案例寫入日誌,日誌經過分類與去識別化後,轉為訓練或評測樣本,再由下一次發布驗證成效。
編輯觀察
後訓練真正稀缺的從來不是樣本數量,而是高品質任務軌跡。一般聊天模型只要有答案加上一個偏好標籤,通常就能獲得不少資訊;AI Agent 則必須同時具備工具狀態、失敗原因與驗收標準。即使資料公共池真的出現,也未必能直接拿來訓練 Agent,因為不同團隊的環境、權限與風險邊界並不相同。
OpenAthena 這篇文章與過去常見的「資料規模決定能力」敘事不同。它把共享難題放進後訓練的脈絡中:資料並非不存在,而是很難形成可互用的共同標準。我預期未來會出現局部共享,例如工具呼叫軌跡、Agent 失敗分類、驗證腳本與評測環境,其價值會高於通用問答資料。不過,公開資料要如何避免洩露企業策略與安全邊界,仍沒有簡單答案。
來源: