字节跳动 Seed 团队和清华 AIR 联合开源了 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization),专门做长 Chain-of-Thought(CoT)场景下的大模型 RL 训练。HN 首页 10 points,热度还在早期。
仓库 BytedTsinghua-SIA/DAPO 不只发了算法,系统、数据、配置全套摊开。下面把我翻代码看到的东西拆给你看。
DAPO 解决什么问题
做 LLM RLHF 的同学都踩过这两个坑:
- 长链路 rollout 一次几千 token,GPU 时间全耗在 sampling 上
- 数学推理这种场景,几百步推理只有 1 个 0/1 reward,PPO 的 advantage 估计噪声巨大
DAPO 的论文标题就点明了痛点:A Large-Scale Reinforcement Learning System for Long Chain-of-Thought,主战场是 AIME、AMC 这类数学推理基准。
他们开源的是 系统 + 算法 + 数据 整套栈,不是一个孤立的算法改进。
跟传统 RLHF 的两个关键差异
Decoupled Clip(解耦裁剪)
传统 PPO 用同一个 clip ratio 限制 policy 更新幅度。DAPO 把 clip range 解耦成上下界分别处理,在 reward 极稀疏的长链路任务里,gradient clipping 的不对称性会被放大,这个改动在那种场景下更稳。
Dynamic Sampling Policy Optimization(动态采样)
长 CoT 的 rollout 太贵了。一批数据里 80% 的样本答对了,reward 全是 1,剩下 20% 才有梯度信号,这是巨大的浪费。Dynamic Sampling 的做法是:对当前 batch 的所有 prompt 做预采样,过滤掉全对或全错的样本,只保留有梯度价值的。
直觉上,相当于把 importance sampling 的 "important" 提前到 data selection 阶段做。
横向对比
| 维度 | OpenRLHF | verl | DAPO |
|---|---|---|---|
| 主打场景 | 通用 RLHF | 通用 RL + Agent | 长 CoT 推理 |
| 算法核心 | PPO / REINFORCE | PPO + 多变体 | Decoupled Clip + Dynamic Sampling |
| 训练框架 | DeepSpeed | Ray + vLLM | 基于 verl 改造 |
| 开源程度 | 较完整 | 较完整 | 系统级全套 |
DAPO 不打算做 "通用 RLHF 框架",只解决一件事:让长 CoT 的 RL 训练可工程化。
字节 + 清华的合作模式
仓库名 BytedTsinghua-SIA 已经说明一切:字节出算力 + 工程团队,清华 AIR 出算法 idea。
中国大厂 + 顶级高校的联合实验室模式,从 USTC-Microsoft、THU-IBM 到现在,跑通了很多年。DAPO 的特殊之处在于:字节把工业级 RL 训练基建(数据管线、分布式 rollout、reward 服务)直接开源。
这背后是战略选择。在 RL infra 这个赛道,字节系正在做类似 Linux Foundation 的 "自来水" 角色 —— 让大家都用我的底座,真正的护城河在数据和应用场景。
代码里能看出什么
clone 下来翻了下目录结构:
DAPO/
├── README.md
├── verl/ # 训练框架,基于字节开源的 verl 改造
├── examples/ # 配置示例
│ └── aime_mix_train.yaml
├── scripts/ # 启动脚本
├── reward_server/ # Reward 服务(独立部署)
└── docs/ # 算法解读
几个关键观察:
1. 训练框架基于 verl
verl/ 目录说明 DAPO 是基于字节自家的 verl(Volcano Engine Reinforcement Learning)做的。verl 基于 Ray + vLLM,支持 PPO、GRPO 等多种算法。
DAPO 在 verl 之上做了两层定制:
- 算法层:Decoupled Clip、Dynamic Sampling
- 系统层:reward 服务解耦、rollout 优化
2. 数据格式很工程化
examples/aime_mix_train.yaml 里的 schema:
data:
train_files: ~/data/rl/aime_mix/train.parquet
val_files: ~/data/rl/aime_mix/test.parquet
prompt_key: prompt
max_prompt_length: 2048
max_response_length: 8192
train_batch_size: 512
val_batch_size: 256
注意 max_response_length: 8192 —— 这是典型的长 CoT 配置,普通 RLHF 任务设到 2048 就够了。
3. 普通研究者能不能跑起来?
门槛不低:
- 至少 4-8 张 H100/A100(README 建议 16 卡)
- 几十 GB 的数学题数据(AIME、MATH、NuminaMath)
- 懂 Ray 集群部署
但 repo 提供了完整的 scripts/,如果你有算力,理论上 bash scripts/run_dapo.sh 就能起。对比某些 "代码开源但没法复现" 的工作,DAPO 已经算良心的了。
谁该关心这件事
按优先级:
- 做 reasoning 模型的小团队:Qwen、DeepSeek、Yi 已经在做大 long CoT RL,但小团队没这个工程能力。DAPO 给了他们一个相对完整的起点。
- 在 GRPO / PPO 上踩过坑的人:DAPO 的 dynamic sampling 和 decoupled clip 是直接可借鉴的工程经验。
- 关注 RL infra 投资逻辑的人:字节系(火山引擎 + Seed)在 RL 基建上的投入持续加码,这是判断 "RL infra 是否形成独立赛道" 的一个信号。
- 学术界研究者:清华 AIR 背书 + 完整代码 + 论文,标准的 "工业级 baseline" 工作。
编辑思考
字节系在 RL infra 上的开源节奏,有一条清晰的逻辑:基础设施免费,真正的护城河在数据和场景。
这和 Meta 的 Llama 策略不太一样。Meta 开源模型权重是为了对抗 OpenAI 的 API 锁定,商业逻辑是 "更多人用我的模型 → 更多人买我的 GPU/广告"。字节做 DAPO、verl、UI-TARS 这一系列开源,商业逻辑更接近 "让 RL 训练变得人人可做 → RL 变成水电煤 → 算力和 API 是未来的分润点"。
这次具体和过去哪些事不同?三个细节:
- 长 CoT RL 的工程化门槛,过去只有 OpenAI、Anthropic 这种闭源玩家能搞。DAPO 把它变成了一个开源问题。
- Decoupled Clip + Dynamic Sampling 不算算法创新,而是工程创新。这说明 RL 训练的瓶颈已经不在算法,而在数据采样效率和 GPU 利用率。
- 仓库命名
BytedTsinghua-SIA反映了一种新型产学合作范式 —— 大厂出算力基建,高校出算法 idea,联合署名但各自负责擅长的部分。
不确定的地方:DAPO 的训练成本和真实收敛速度我还没复现到,README 数字可能偏乐观。如果你跑过,欢迎在评论区反馈实际经验。
参考:
- GitHub: BytedTsinghua-SIA/DAPO
- verl: Volcano Engine Reinforcement Learning