OpenAthena 认为后训练数据公地并不存在。本文给出 AI Agent 团队的数据工程路线:记录任务轨迹、分类失败原因,并用合成数据补长尾。
后训练数据听起来像一个可以共建、下载和复用的公共基础设施。
但 OpenAthena 在文章《There is no posttraining data commons》中直接给出判断:当前不存在可共享的 post-training data commons。文章登上 Hacker News 首页时,页面显示 42 points、10 条评论。
这不是新模型、新工具或新基准的发布。它更像一次行业检查。文章讨论了指令微调、偏好对齐、强化学习和模型蒸馏,也追问一个更实际的问题:AI Agent 团队手里的后训练数据,究竟缺在哪里?
我的答案是:缺的不是更多“问答对”,而是带工具状态、失败原因和验收标准的高质量任务轨迹。
所谓数据公地,为何成了伪命题
代码仓库可以公开共享。图片、论文和网页也能进入 Common Crawl 一类的公共数据集。
后训练数据却不同。它往往不是一个孤立的样本,而是某套行为标准与业务约束的产物。
比如,同一个用户请求:
{
"instruction": "处理这封退款邮件",
"context": "订单金额超过 200 美元,且客户提供了有效订单号",
"response": "符合退款条件,可以批准退款。"
}
换一家公司,规则就可能相反:超过 200 美元需要主管审批,缺少订单号则必须先补资料。谁的答案算“正确”?只有数据生产方和审核者知道。
偏好数据更麻烦。它记录的不只是答案,还记录比较关系和人的判断标准。某个回答更简洁、更有帮助,还是更符合品牌语气?不同标注员可能给出不同结果。
强化学习也需要明确的目标函数、奖励规则和安全边界。把奖励函数公开,并不意味着任何团队都能得到相同行为。
所以,后训练数据很难像代码或图片素材一样统一共享。
这不意味着数据不能开源。它意味着“可公开”不等于“可共享”,更不等于“能直接用于训练”。许可证、隐私、业务规则、标注口径和数据生命周期,都会限制复用。
蒸馏不是数据公地的替代品
蒸馏很实用。
用一个更强的教师模型生成回答,再拿这些回答训练较小的学生模型,效果通常不错。GitHub、Hugging Face 上也不缺 teacher-generated dataset。
但蒸馏复制的更多是教师模型已经表现出来的能力,不是完整能力边界。
对普通问答,蒸馏可以复制语气、知识组织和部分推理模式。对 AI Agent,麻烦会迅速增加。
一个 Agent 任务通常包含这些环节:
- 理解目标。
- 选择工具。
- 构造参数。
- 读取工具返回。
- 根据结果修正计划。
- 判断任务是否完成。
教师模型给出的最终答案,并没有完整保留中间过程。
如果只蒸馏最终输出,学生模型可能学会“像答案一样回答”,却不知道工具为什么这样调用、参数为何变化。遇到工具报错、字段缺失或权限不足时,它甚至可能继续编造结果。
更值钱的是失败样本:
- 哪一步选错了工具。
- 哪个参数与任务状态冲突。
- 哪次错误恢复及时。
- 哪种回答虽然流畅,却没有完成验收条件。
这些轨迹可以迁移。成功轨迹往往容易共享,失败原因通常最接近业务内部经验,也最不容易被标准化。
因此,蒸馏可以扩充数据规模,却不能替代后训练数据公地。它更像是把教师模型的输出层复制给学生,而不是复制完整的决策过程。
合成数据不是免费午餐
LLM 可以批量生成训练样本。
这是最便宜、速度最快的方案,也是最容易被高估的方案。
如果用模型 A 生成数据,再交给同源或近似的模型 B 训练,生成偏好会被放大。原本的小偏差,可能在多轮迭代中变成系统性偏差。
更直接的风险是:模型生成自己熟悉的答案。
合成数据适合补充格式统一、规则明确、正确性可验证的任务。例如:
- 把自然语言转换成固定 JSON Schema。
- 从结构化记录中抽取固定字段。
- 为分类任务生成边界案例。
- 在可执行环境中生成并验证代码。
但对开放式任务,合成数据常常缺少真实世界的噪声。
随机合成的问题通常出在分布。生成器覆盖了常见样本,却没有覆盖罕见输入、冲突指令和工具异常。
规则生成更可控。例如用模板和状态机生成工具调用轨迹。优点是状态合法,缺点是行为僵硬,模型可能只学会遵循表面格式。
真实任务轨迹的价值更高,因为它包含用户临时改需求、接口返回脏数据、权限被拒绝、工具超时等细节。但它们成本高,也有隐私和合规问题。
合成数据的最佳位置,不是替代真实数据,而是补齐真实数据里的长尾。
开放数据集能补到什么程度
开放数据仍然有用。只是要按训练层次拆开看。
公开指令集,例如 Alpaca、Dolly 和 OpenHermes,适合做指令跟随、回答格式和基础对话风格的初步实验。它们的问题也明显:来源混杂,部分样本由模型生成,质量和许可情况需要逐项核查。
偏好数据集适合训练“更喜欢哪一种回答”。但偏好标注高度依赖标注者画像。代码助手喜欢的简洁解释,未必适合初级用户;通用标注者认为有帮助的回答,也可能遗漏专业安全要求。
代码数据则要更谨慎地区分。GitHub 仓库里的源代码、issue、pull request 和提交记录,不是同一种训练素材。
它们分别可以提供:
- 代码语料:语法、API 用法和实现模式。
- Issue:问题描述、复现信息和讨论上下文。
- Pull request:修改方案与代码审查信号。
- Commit:开发过程中的局部变更。
这些开放来源能支撑通用能力和基线实验,却很难直接补齐某个 Agent 的业务后训练需求。
许可证也是硬限制。代码可能允许训练,但不一定允许再分发;用户日志可能含有个人信息;客服对话可能受商业保密约束。
所以团队要做的不是先下载最大语料库,而是建立一份来源清单:数据来自哪里、许可覆盖什么、能否保留原记录、质量由谁验证。
AI Agent 团队的数据工程
务实路线是围绕失败任务建数据,而不是围绕模型建语料。
第一步,定义任务验收标准。
“查一下订单状态”不是合格评测项。需要明确:必须调用哪个工具、允许使用哪些字段、什么情况下拒绝执行、最终输出需要包含什么。
第二步,记录真实轨迹。
至少保留五类信息:
任务目标
环境状态
工具调用与返回
中间决策或计划
最终结果与验收结果
第三步,把失败分类。
我通常会分成四类:
- 任务理解错误。
- 工具选择错误。
- 参数构造错误。
- 结果判断错误。
不同错误需要不同数据。工具选择错误要补正反例;参数错误要补 schema 约束;结果判断错误则需要验证器和明确标签。
第四步,用合成数据补长尾,但用真实环境验证。
例如随机生成 1 万次订单查询没有太大价值。更有用的方式是先从线上失败案例中找出异常分布,再针对这些情况构造边界样本,并在可执行环境中检查工具调用是否真的成功。
第五步,让数据和评测一起迭代。
每次模型或工具更新,都重跑同一批任务。比较的不只是最终答案,还包括工具调用次数、参数错误率、无效循环次数和拒答准确率。
这套流程不需要先建立一个庞大的数据仓库。它更像一个持续运行的数据飞轮:失败进入日志,日志经过分类和脱敏,变成训练或评测样本,再由下一次发布验证效果。
编辑思考
后训练真正稀缺的不是样本数量,而是高质量任务轨迹。对普通聊天模型,答案加一个偏好标签已经能提供不少信息;对 AI Agent,工具状态、失败原因和验收标准缺一不可。数据公地即使出现,也未必能直接训练 Agent,因为不同团队的环境、权限和风险边界并不通用。
OpenAthena 这篇文章与过去常见的“数据规模决定能力”叙事不同。它把共享问题放在后训练语境里:数据不是没有,而是难形成可互用的共同标准。我预计未来会出现局部共享——工具调用轨迹、Agent 失败分类、验证脚本和评测环境会比通用问答数据更值钱。不过,公开数据如何避免泄露企业策略与安全边界,仍没有简单答案。
来源: