프레임워크

바이두+칭화, DAPO 오픈소스 공개 — 긴 CoT 강화학습 엔지니어링의 실체

바이두 Seed와 칭화 AIR이 공동으로 DAPO를 오픈소스로 공개했다. 긴 Chain-of-Thought 시나리오의 RL 학습 인프라를 시스템, 데이터, 알고리즘 전부 풀어낸 작업으로, 추론 모델 팀과 RL 인프라 관계자라면 반드시 살펴볼 만하다.

글자 크기

DAPO가 겨냥한 문제

LLM RLHF를 다뤄본 사람이라면 두 가지 고통을 한 번쯤 겪었을 것이다.

  • 긴 rollout 한 번에数千 token이 나가니 GPU 시간이 전부 sampling에 잡아먹힌다.
  • 수학 추론처럼 수백 단계 reasoning 끝에 0/1 reward 하나만 떨어지는 환경에서는 PPO의 advantage 추정이 너무 시끄럽다.

DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)라는 이름과 논문 제목 A Large-Scale Reinforcement Learning System for Long Chain-of-Thought가 이 문제를 정면으로 찍었다는 점을 보여준다. 주 무대는 AIME, AMC 같은 수학 추론 벤치마크다.

공개된 것은 알고리즘 한 줄이 아니라 시스템 + 알고리즘 + 데이터가 한 묶음으로 묶인 스택이다. 단독 알고리즘 개선과 선을 긋는 부분이 여기에 있다.

기존 RLHF와의 두 가지 핵심 차이

Decoupled Clip

전통 PPO는 단일 clip ratio로 policy 업데이트 폭을 동시에 깎는다. DAPO는 clip 범위를 상·하한으로 분리해 따로 다룬다. reward가 극도로 sparse한 긴 reasoning에서는 gradient clipping의 비대칭성이 부각되는데, 이 변경이 그런 환경에서 더 안정적으로 작동한다.

Dynamic Sampling Policy Optimization

긴 CoT의 rollout은 비싸다. 한 배치에서 80% 샘플이 정답을 맞추면 reward는 전부 1이 되고, 나머지 20%에서만 gradient 신호가 생긴다. 자원이 그만큼 낭비되는 셈이다. Dynamic Sampling은 현재 배치의 prompt 전체에 대해 사전 rollout을 돌려 전부 정답이거나 전부 오답인 샘플을 걸러내고, gradient 가치가 있는 것만 남긴다.

직관적으로는 importance sampling의 'important' 판단을 data selection 단계로 끌어올린 것에 가깝다.

수평 비교

  • OpenRLHF: 범용 RLHF 중심, PPO/REINFORCE, DeepSpeed 기반, 오픈소스 공개도 상당 부분 갖춰짐.
  • verl: 범용 RL + Agent, PPO와 여러 변종, Ray + vLLM 기반, 역시 공개 범위가 넓음.
  • DAPO: 긴 CoT 추론에 특화, Decoupled Clip + Dynamic Sampling이 핵심, verl 위에서 빌드업, 시스템 단위 풀스택 공개.

DAPO는 '범용 RLHF 프레임워크'를 노리지 않는다. 딱 한 가지, 긴 CoT의 RL 학습을 엔지니어링 가능한 형태로 만드는 것에만 집중한다.

바이두 + 칭화의 협업 구조

저장소 이름 BytedTsinghua-SIA만 봐도 그림이 그려진다. 바이두는 컴퓨팅과 엔지니어링 팀을, 칭화 AIR은 알고리즘 아이디어를 제공한다.

중국 대기업 + 최고 대학의 공동 연구실 모델은 USTC-Microsoft, THU-IBM 같은 사례를 거쳐 이미 오래 검증돼 왔다. DAPO가 다른 점은 바이두가 산업용 RL 학습 인프라(데이터 파이프라인, 분산 rollout, reward 서비스)를 그대로 오픈소스로 공개했다는 데 있다.

이건 단순한 기술 공개가 아니라 전략적 선택이다. RL infra 트랙에서 바이두 계열은 일종의 '공공재 공급자' 역할을 자처하고 있다. 모두가 내 베이스 위에서 빌드하게 만들고, 진짜 해자는 데이터와 애플리케이션 시나리오에 두겠다는 계산이다.

코드에서 읽어낸 것들

clone해서 디렉터리 구조를 살펴봤다.

DAPO/
├── README.md
├── verl/                 # 학습 프레임워크, 바이두 오픈소스 verl 기반
├── examples/             # 설정 예시
│   └── aime_mix_train.yaml
├── scripts/              # 실행 스크립트
├── reward_server/        # Reward 서비스(독립 배포)
└── docs/                 # 알고리즘 해설

1. 학습 프레임워크가 verl 기반

verl/ 디렉터리가 말해주듯 DAPO는 바이두의 verl(Volcano Engine Reinforcement Learning) 위에 올라가 있다. verl은 Ray + vLLM 조합으로 PPO, GRPO 등 여러 알고리즘을 지원한다.

DAPO는 verl 위에 두 층을 얹는다.

  • 알고리즘 층: Decoupled Clip, Dynamic Sampling
  • 시스템 층: reward 서비스 분리, rollout 최적화

2. 데이터 포맷이 엔지니어링 감각을 보인다

examples/aime_mix_train.yaml의 스키마 일부.

data:
  train_files: ~/data/rl/aime_mix/train.parquet
  val_files: ~/data/rl/aime_mix/test.parquet
  prompt_key: prompt
  max_prompt_length: 2048
  max_response_length: 8192
  train_batch_size: 512
  val_batch_size: 256

max_response_length: 8192에 주목하자. 일반 RLHF에서는 2048이면 충분하지만, 이건 전형적인 긴 CoT 설정이다.

3. 일반 연구자도 돌릴 수 있을까?

장벽이 낮다고 보긴 어렵다.

  • 최소 H100/A100 4~8장, README는 16장 구성을 권장한다.
  • 수학 문제 데이터 수십 GB(AIME, MATH, NuminaMath 등).
  • Ray 클러스터 배포에 대한 이해.

다만 저장소가 scripts/를 통째로 제공하기 때문에, 컴퓨팅만 갖춰져 있다면 이론상 bash scripts/run_dapo.sh로 바로 띄울 수 있다. '코드는 공개했지만 재현이 안 되는' 류의 작업과 비교하면 선방한 편이다.

누가 신경 써야 하나

우선순위대로 정리하면.

  1. 추론 모델을 만드는 소규모 팀: Qwen, DeepSeek, Yi는 이미 long CoT RL을 시도하고 있지만, 작은 팀에 그 엔지니어링 역량은 없다. DAPO가 상대적으로 완결된 시작점을 제공한다.
  2. GRPO/PPO에서 고생해본 사람: DAPO의 dynamic sampling과 decoupled clip은 바로 참고할 만한 엔지니어링 노하우다.
  3. RL infra 투자 논리를 보는 사람: 바이두 계열(火山 + Seed)의 RL 인프라 투자가 계속 커지고 있다는 건, 'RL infra가 독립 트랙으로 자리 잡았는가'를 판단하는 하나의 시그널이다.
  4. 학계 연구자: 칭화 AIR 후원과 완전한 코드, 논문까지 갖춘 표준 '산업급 baseline' 작업이다.

한걸음 떨어져 본 시선

바이두 계열의 RL infra 오픈소스 흐름에는 일관된 논리가 있다. 인프라는 무료로 풀고, 진짜 해자는 데이터와 시나리오에 둔다.

Meta의 Llama 전략과는 결이 조금 다르다. Meta가 모델 가중치를 공개하는 이유는 OpenAI의 API 락인을 흔들기 위해서고, '내 모델을 더 많이 쓰게 만들고 → 내 GPU/광고로 돈을 번다'는 비즈니스 로직이다. 바이두가 DAPO, verl, UI-TARS를 잇는 오픈소스 흐름은 더 가까이 보면 'RL 학습을 누구나 가능한 일로 만들고 → RL을 전기·수도처럼 만들고 → 컴퓨팅과 API가 미래의 마진 지점'이라는 그림에 가깝다.

이번 작업이 기존 흐름과 다른 지점은 세 가지다.

  1. 긴 CoT RL의 엔지니어링 장벽은 지금까지 OpenAI, Anthropic 같은 폐쇄형 플레이어만 넘을 수 있었다. DAPO가 그걸 오픈소스 문제로 끌어내렸다.
  2. Decoupled Clip + Dynamic Sampling은 알고리즘 혁신이라기보다 엔지니어링 혁신이다. RL 학습의 병목이 알고리즘이 아니라 데이터 샘플링 효율과 GPU utilization으로 옮겨왔다는 방증이다.
  3. 저장소 이름 BytedTsinghua-SIA는 산학 협업의 새로운 형식을 보여준다. 대기업이 컴퓨팅 인프라를, 대학이 알고리즘 아이디어를 댄 뒤, 공동 명의로 각자 잘하는 부분만 책임지는 구조다.

불확실한 부분도 있다. DAPO의 학습 비용과 실제 수렴 속도는 아직 내가 직접 재현하지 못했다. README 숫자가 다소 낙관적일 가능성도 있다. 실제로 돌려본 사람이 있다면 댓글에서 경험을 공유해주면 좋겠다.

참고:

출처: https://github.com/BytedTsinghua-SIA/DAPO