OpenAthena는 후학습 데이터 공용지가 존재하지 않는다고 본다. AI Agent 팀의 데이터 엔지니어링 노선은 작업 궤적을 기록하고 실패 원인을 분류한 뒤, 합성 데이터로 long-tail을 보완하는 데 있다.
후학습 데이터는 공동으로 구축하고 다운로드해 재사용할 수 있는 공공 인프라처럼 들린다.
그러나 OpenAthena는 글 《There is no posttraining data commons》에서 다음과 같이 판단했다. 현재 공유할 수 있는 post-training data commons는 없다는 것이다. 이 글이 Hacker News 메인 페이지에 올라갔을 때 페이지에는 42 points와 댓글 10개가 표시됐다.
새 모델, 도구 또는 benchmark 공개가 아니다. industries 현狀을 점검하는 글이에 가깝다. 글은 instruction tuning, preference alignment, reinforcement learning, model distillation을 다루면서 더 현실적인 질문을 제기한다. AI Agent 팀이 보유한 후학습 데이터는 구체적으로 무엇이 부족한가?
필요한 것은 더 많은 ‘질문과 답’rather than 도구 상태, 실패 원인,验收 기준을 포함한 고품질 작업 궤적이다.
‘데이터 공용지’가seudo 명제가 된 이유
코드 저장소는 공개 공유할 수 있다. 이미지, 논문, 웹페이지도 Common Crawl 같은 공공 데이터셋에 들어간다.
후학습 데이터는 다르다. 고립된 샘플이라기보다 어떤 행동 기준과 업무 제약이 결합된 결과물인 경우가 많다.
예컨대 같은 사용자 요청이 다음과 같다고 하자.
{
"instruction": "处理这封退款邮件",
"context": "订单金额超过 200 美元,且客户提供了有效订单号",
"response": "符合退款条件,可以批准退款。"
}다른 회사에서는 규칙이 반대로 적용될 수도 있다. 200달러를 초과하면 관리자 승인이 필요하고, 주문 번호가 없으면 먼저 자료를 보완해야 한다. 어떤 답이 ‘정답’일까? 데이터를 만든 회사와 검수자만 알 수 있다.
preference data는 더 까다롭다. 답변뿐 아니라 비교 관계와 사람의 판단 기준까지 담는다. 어떤 답이 더 간결하고 도움이 되며 브랜드 톤과 더 잘 맞는가? annotation 담당자마다 결과가 달라질 수 있다.
reinforcement learning 역시 명확한 objective function, reward rule, safety boundary가 필요하다. reward function을 공개해도 모든 팀이 동일한 행동을 만들 수 있다는 뜻은 아니다.
따라서 후학습 데이터는 코드나 이미지 자료처럼 통일된 형태로 공유하기 어렵다.
데이터를 open source로 공개할 수 없다는 뜻은 아니다. ‘공개 가능’이 ‘공유 가능’이나 ‘바로 학습에 사용 가능’과는 다르다는 의미다. 라이선스, 개인정보, 업무 규칙, annotation 기준, 데이터 생명주기 모두가 재사용을 제한한다.
distillation은 데이터 공용지의 대체재가 될 수 없다
distillation은 실용적이다.
더 강한 teacher model이 답변을 생성한 뒤 그 답변으로 더 작은 student model을 학습시키면 일반적으로 좋은 결과를 얻는다. GitHub와 Hugging Face에도 teacher-generated dataset이 부족하지 않다.
하지만 distillation은 주로 teacher model이 이미 드러낸 능력을 복제한다. 전체 능력 경계까지 복제하는 것은 아니다.
일반적인 질문과 답에는 teacher model의 어투, 지식 구성 방식, 일부 reasoning pattern을 복제할 수 있다. AI Agent에서는 문제가 빠르게 커진다.
Agent 작업에는 보통 다음 단계가 포함된다.
- 목표를 이해한다.
- 도구를 선택한다.
- parameter를 구성한다.
- 도구가 반환한 결과를 읽는다.
- 결과에 따라 계획을 수정한다.
- 작업 완료 여부를 판단한다.
teacher model이 제시한 최종 답변에는 중간 과정이 온전히 남아 있지 않다.
최종 출력만 distillation하면 student model은 ‘답답한 것처럼’ 답하는 법은 배우지만, 도구를 왜 그렇게 호출했는지 parameter가 왜 바뀌었는지는 모른다. 도구 오류, 필드 누락, 권한 부족을 만나면 결과를 계속 만들어내기까지 할 수 있다.
가치更高的 failure sample에는 다음 정보가 들어 있다.
- 어느 단계에서 도구를 잘못 선택했는가.
- 어떤 parameter가 작업 상태와 충돌했는가.
- 어떤 오류에서 적절히 recovery했는가.
- 어떤 답이 매끄러우지만验收 조건을 충족하지 못했는가.
이런 궤적은 이전할 수 있다. 성공 궤적은 공유하기 쉬운 반면 failure 원인은 업무 내부 경험에 가장 가깝고 표준화하기 가장 어렵다.
따라서 distillation은 데이터 규모를 늘릴 수 있지만 후학습 데이터 공용지를 대체하지는 못한다. teacher model의 decision process 전체가 아니라 출력층을 student model에 복제하는 것에 더 가깝다.
합성 데이터는 공짜가 아니다
LLM은 training sample을 대량으로 생성할 수 있다.
가장 저렴하고 빠른 방법이자 가장 쉽게 과대평가하는 방법이기도 하다.
model A로 데이터를 생성한 뒤 같은 계열이나 유사한 model B로 학습시키면 생성 선호가 증폭된다. 원래 작았던 편향이 여러 번의 반복을 거치며 system-level bias로 바뀔 수 있다.
더 직접적인 위험은 model이 자신이 잘 아는 답을 생성한다는 점이다.
합성 데이터는 형식이 통일되고 규칙이 명확하며 정확성을 검증할 수 있는 작업을 보완하는 데 적합하다. 예를 들면 다음과 같다.
- 자연어를 고정된 JSON Schema로 변환한다.
- 구조화된 record에서 고정된 field를 추출한다.
- classification 작업을 위한 boundary case를 생성한다.
- 실행 가능한 환경에서 code를 생성하고 검증한다.
하지만 open-ended 작업에서는 합성 데이터가 실제 세계의 noise를 자주 놓친다.
무작위 합성에서 문제는 대개 distribution에 있다. generator가 일반적인 sample은 덮었지만, 희귀 입력, 충돌하는 instruction, 도구異常은 포함하지 않았다.
rule-based generation은 통제하기 쉽다. template과 state machine으로 도구 호출 궤적을 만드는 방식이다. 상태가 합법적이라는 장점이 있지만 행동이 뻣뻣하고, model이 표면적인 형식만 따르도록 학습할 수 있다는 단점이 있다.
실제 작업 궤적은 사용자가 도중에 요구를 바꾸거나 API가 dirty data를 반환하고, 권한이 거부되거나 도구가 timeout되는 gibi 세부가 들어 있어 가치가 더 높다. 다만 비용이 크고 개인정보 및 compliance 문제가 있다.
합성 데이터의 최적 위치는 실제 데이터를 대체하는 것이 아니라 실제 데이터의 long-tail을 채우는 것이다.
공개 데이터셋으로 무엇까지 채울 수 있는가
공개 데이터는 여전히 유용하다. 다만 training 단계별로 나누어 봐야 한다.
Alpaca, Dolly, OpenHermes 같은 공개 instruction set은 instruction following, 답변 형식, 기본 대화 스타일의 초기 실험에 적합하다. 문제도 뚜렷하다. 출처가 뒤섞여 있고 일부 sample은 model-generated이며, 품질과 라이선스 상태를 항목별로 확인해야 한다.
preference dataset은 ‘어떤 답을 더 선호하는가’를 학습시키는 데 적합하다. 그러나 preference annotation은 annotator profile에 크게 의존한다. code assistant가 선호하는 간결한 설명이 초급 사용자에게 맞지 않을 수 있고, 일반 annotator가 도움이 된다고 판단한 답도 전문적인 안전 요구사항을 빠뜨릴 수 있다.
code data는 더 신중하게 구분해야 한다. GitHub 저장소의 source code, issue, pull request, commit history는 모두 같은 training material은 아니다.
각각 다음과 같은 정보를 제공할 수 있다.
- code corpus: syntax, API 사용법, implementation pattern.
- Issue: 문제 설명, 재현 정보, discussion context.
- Pull request: 변경안과 code review signal.
- Commit: 개발 과정 중 국부적인 변경.
이런 공개 출처는 범용 능력과 baseline 실험을 뒷받침할 수 있지만, 특정 Agent의 업무 후학습 수요를 직접 채우기는 어렵다.
라이선스도 뚜렷한 제한이다. code가 training에는 허용되지만 재배포는 허용되지 않을 수 있다. 사용자 log에는 개인정보가 포함될 수 있고, 고객 서비스 대화는 commercial confidentiality의 제약을 받을 수 있다.
따라서 팀이 먼저 해야 할 일은 가장 큰 corpus를 다운로드하는 것이 아니라 출처 목록을 만드는 것이다. 데이터가 어디에서 왔고, 라이선스가 무엇을 허용하며, 원본 record를 보존할 수 있는지, 품질을 누가 검증하는지 정리해야 한다.
AI Agent 팀의 데이터 엔지니어링
현실적인 노선은 model을 중심으로 corpus를 만드는 대신 실패한 작업을 중심으로 데이터를 만드는 것이다.
첫째, 작업验收 기준을 정의한다.
‘주문 상태를 확인해 달라’는合格的 evaluation item이 아니다. 반드시 어떤 도구를 호출해야 하고, 어떤 field를 사용할 수 있으며, 어떤 경우에 실행을 거부해야 하고, 최종 출력에 무엇을 포함해야 하는지 명확히 해야 한다.
둘째, 실제 궤적을 기록한다.
최소한 다섯 가지 정보를 보존해야 한다.
任务目标
环境状态
工具调用与返回
中间决策或计划
最终结果与验收结果셋째, 실패를 분류한다.
보통 네 가지로 나눈다.
- 작업 이해 오류.
- 도구 선택 오류.
- parameter 구성 오류.
- 결과 판단 오류.
오류 유형마다 필요한 데이터가 다르다. 도구 선택 오류에는 정·반례를 보완해야 한다. parameter 오류에는 schema constraint가 필요하다. 결과 판단 오류에는 verifier와 명확한 label이 필요하다.
넷째, 합성 데이터로 long-tail을 채우되 실제 환경에서 검증한다.
예를 들어 주문 조회 1만 건을 무작위로 생성하는 방식은 큰 가치가 없다.线上 실패 사례에서 anomalous distribution을 먼저 찾고, 그 상황에 맞춰 boundary sample을 구성한 뒤, 실행 가능한 환경에서 도구 호출이 실제로 성공했는지 확인하는 편이 유용하다.
다섯째, 데이터와 evaluation을 함께 반복 개선한다.
model이나 도구를 업데이트할 때마다 동일한 작업 집합을 다시 실행한다. 최종 답변뿐 아니라 도구 호출 횟수, parameter 오류율,无效 loop 횟수,拒答 정확도를 비교해야 한다.
이 과정은 거대한 data warehouse를 먼저 세울 필요가 없다. 계속 작동하는 data flywheel에 더 가깝다. 실패가 log에 쌓이고, log를 분류하고 비식별화한 뒤 training 또는 evaluation sample로 바꾸고, 다음 release가 효과를 검증하는 순환이다.
편집자 생각
후학습에서 진짜 부족한 것은 sample 수가 아니라 고품질 작업 궤적이다. 일반 chat model에는 답변과 preference label만 있어도 상당한 정보를 줄 수 있다. 하지만 AI Agent에는 도구 상태, 실패 원인,验收 기준이 모두 필요하다. 데이터 공용지가 등장하더라도 Agent를 바로 학습시키는 데 쓰이는 일은 없을 수 있다. 팀마다 환경, 권한, 위험 경계가 다르기 때문이다.
OpenAthena의 글은 과거의 ‘데이터 규모가 능력을 결정한다’는 서사와 다르다. 공유 문제를 후학습 맥락에 놓는다. 데이터가 부족한 것이 아니라 상호 운용 가능한 공동 기준을 만들기 어렵다는 것이다. 앞으로 국소적인 공유는 나타날 가능성이 크다. 범용 질문과 답 데이터보다 도구 호출 궤적, Agent 실패 분류, verification script, evaluation environment가 더 큰 가치를 가질 것이다. 다만 공개 데이터가 기업 전략과 안전 경계를 노출하지 않도록 하는 방법에는 여전히 간단한 답이 없다.
출처: