框架

字节清华联合开源 DAPO:长 CoT 强化学习训练怎么工程化

字节 Seed + 清华 AIR 开源 DAPO,把长 CoT 场景的 RL 训练基建摊开:解耦裁剪 + 动态采样,基于 verl 改造。推理团队、RL infra 从业者必看。

字号

字节跳动 Seed 团队和清华 AIR 联合开源了 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization),专门做长 Chain-of-Thought(CoT)场景下的大模型 RL 训练。HN 首页 10 points,热度还在早期。

仓库 BytedTsinghua-SIA/DAPO 不只发了算法,系统、数据、配置全套摊开。下面把我翻代码看到的东西拆给你看。

DAPO 解决什么问题

做 LLM RLHF 的同学都踩过这两个坑:

  • 长链路 rollout 一次几千 token,GPU 时间全耗在 sampling 上
  • 数学推理这种场景,几百步推理只有 1 个 0/1 reward,PPO 的 advantage 估计噪声巨大

DAPO 的论文标题就点明了痛点:A Large-Scale Reinforcement Learning System for Long Chain-of-Thought,主战场是 AIME、AMC 这类数学推理基准。

他们开源的是 系统 + 算法 + 数据 整套栈,不是一个孤立的算法改进。

跟传统 RLHF 的两个关键差异

Decoupled Clip(解耦裁剪)

传统 PPO 用同一个 clip ratio 限制 policy 更新幅度。DAPO 把 clip range 解耦成上下界分别处理,在 reward 极稀疏的长链路任务里,gradient clipping 的不对称性会被放大,这个改动在那种场景下更稳。

Dynamic Sampling Policy Optimization(动态采样)

长 CoT 的 rollout 太贵了。一批数据里 80% 的样本答对了,reward 全是 1,剩下 20% 才有梯度信号,这是巨大的浪费。Dynamic Sampling 的做法是:对当前 batch 的所有 prompt 做预采样,过滤掉全对或全错的样本,只保留有梯度价值的。

直觉上,相当于把 importance sampling 的 "important" 提前到 data selection 阶段做。

横向对比

维度 OpenRLHF verl DAPO
主打场景 通用 RLHF 通用 RL + Agent 长 CoT 推理
算法核心 PPO / REINFORCE PPO + 多变体 Decoupled Clip + Dynamic Sampling
训练框架 DeepSpeed Ray + vLLM 基于 verl 改造
开源程度 较完整 较完整 系统级全套

DAPO 不打算做 "通用 RLHF 框架",只解决一件事:让长 CoT 的 RL 训练可工程化。

字节 + 清华的合作模式

仓库名 BytedTsinghua-SIA 已经说明一切:字节出算力 + 工程团队,清华 AIR 出算法 idea。

中国大厂 + 顶级高校的联合实验室模式,从 USTC-Microsoft、THU-IBM 到现在,跑通了很多年。DAPO 的特殊之处在于:字节把工业级 RL 训练基建(数据管线、分布式 rollout、reward 服务)直接开源。

这背后是战略选择。在 RL infra 这个赛道,字节系正在做类似 Linux Foundation 的 "自来水" 角色 —— 让大家都用我的底座,真正的护城河在数据和应用场景。

代码里能看出什么

clone 下来翻了下目录结构:

DAPO/
├── README.md
├── verl/                 # 训练框架,基于字节开源的 verl 改造
├── examples/             # 配置示例
│   └── aime_mix_train.yaml
├── scripts/              # 启动脚本
├── reward_server/        # Reward 服务(独立部署)
└── docs/                 # 算法解读

几个关键观察:

1. 训练框架基于 verl

verl/ 目录说明 DAPO 是基于字节自家的 verl(Volcano Engine Reinforcement Learning)做的。verl 基于 Ray + vLLM,支持 PPO、GRPO 等多种算法。

DAPO 在 verl 之上做了两层定制:
- 算法层:Decoupled Clip、Dynamic Sampling
- 系统层:reward 服务解耦、rollout 优化

2. 数据格式很工程化

examples/aime_mix_train.yaml 里的 schema:

data:
  train_files: ~/data/rl/aime_mix/train.parquet
  val_files: ~/data/rl/aime_mix/test.parquet
  prompt_key: prompt
  max_prompt_length: 2048
  max_response_length: 8192
  train_batch_size: 512
  val_batch_size: 256

注意 max_response_length: 8192 —— 这是典型的长 CoT 配置,普通 RLHF 任务设到 2048 就够了。

3. 普通研究者能不能跑起来?

门槛不低:

  • 至少 4-8 张 H100/A100(README 建议 16 卡)
  • 几十 GB 的数学题数据(AIME、MATH、NuminaMath)
  • 懂 Ray 集群部署

但 repo 提供了完整的 scripts/,如果你有算力,理论上 bash scripts/run_dapo.sh 就能起。对比某些 "代码开源但没法复现" 的工作,DAPO 已经算良心的了。

谁该关心这件事

按优先级:

  1. 做 reasoning 模型的小团队:Qwen、DeepSeek、Yi 已经在做大 long CoT RL,但小团队没这个工程能力。DAPO 给了他们一个相对完整的起点。
  2. 在 GRPO / PPO 上踩过坑的人:DAPO 的 dynamic sampling 和 decoupled clip 是直接可借鉴的工程经验。
  3. 关注 RL infra 投资逻辑的人:字节系(火山引擎 + Seed)在 RL 基建上的投入持续加码,这是判断 "RL infra 是否形成独立赛道" 的一个信号。
  4. 学术界研究者:清华 AIR 背书 + 完整代码 + 论文,标准的 "工业级 baseline" 工作。

编辑思考

字节系在 RL infra 上的开源节奏,有一条清晰的逻辑:基础设施免费,真正的护城河在数据和场景。

这和 Meta 的 Llama 策略不太一样。Meta 开源模型权重是为了对抗 OpenAI 的 API 锁定,商业逻辑是 "更多人用我的模型 → 更多人买我的 GPU/广告"。字节做 DAPO、verl、UI-TARS 这一系列开源,商业逻辑更接近 "让 RL 训练变得人人可做 → RL 变成水电煤 → 算力和 API 是未来的分润点"。

这次具体和过去哪些事不同?三个细节:

  1. 长 CoT RL 的工程化门槛,过去只有 OpenAI、Anthropic 这种闭源玩家能搞。DAPO 把它变成了一个开源问题。
  2. Decoupled Clip + Dynamic Sampling 不算算法创新,而是工程创新。这说明 RL 训练的瓶颈已经不在算法,而在数据采样效率和 GPU 利用率。
  3. 仓库命名 BytedTsinghua-SIA 反映了一种新型产学合作范式 —— 大厂出算力基建,高校出算法 idea,联合署名但各自负责擅长的部分。

不确定的地方:DAPO 的训练成本和真实收敛速度我还没复现到,README 数字可能偏乐观。如果你跑过,欢迎在评论区反馈实际经验。

参考:
- GitHub: BytedTsinghua-SIA/DAPO
- verl: Volcano Engine Reinforcement Learning

来源: https://github.com/BytedTsinghua-SIA/DAPO