字節跳動 Seed 團隊與清華 AIR 聯合開源了 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization),專門用於長 Chain-of-Thought(CoT)場景下的大模型 RL 訓練。HN 首頁拿下 10 points,熱度仍在醞釀期。
倉庫 BytedTsinghua-SIA/DAPO 不只是發了演算法,系統、資料、配置全套攤開。以下是我翻過程式碼後整理出的重點。
DAPO 要解決的問題
做 LLM RLHF 的工程師大概都遇過這兩個痛點:
- 長鏈路 rollout 動輒幾千 token,GPU 時間幾乎全花在 sampling 上
- 數學推理這類場景,數百步推理只回傳一個 0/1 reward,PPO 的 advantage 估計雜訊極大
DAPO 的論文標題直接點出核心難題:A Large-Scale Reinforcement Learning System for Long Chain-of-Thought,主要戰場是 AIME、AMC 這類數學推理基準。
他們開源的是系統 + 演算法 + 資料整套堆疊,而非單一演算法改進。
與傳統 RLHF 的兩個關鍵差異
Decoupled Clip(解耦裁剪)
傳統 PPO 用同一個 clip ratio 限制 policy 更新幅度。DAPO 把 clip range 解耦成上下界分開處理,在 reward 極度稀疏的長鏈路任務中,gradient clipping 的不對稱性會被放大,這個改動在該場景下更穩。
Dynamic Sampling Policy Optimization(動態取樣)
長 CoT 的 rollout 成本太高。一批資料裡 80% 的樣本答對,reward 全是 1,其餘 20% 才帶有梯度訊號,這是巨大的浪費。Dynamic Sampling 的做法是:對當前 batch 的所有 prompt 做預採樣,過濾掉全對或全錯的樣本,只保留有梯度價值的部分。
直覺上,相當於把 importance sampling 中的 "important" 提前到 data selection 階段處理。
橫向比較
| 維度 | OpenRLHF | verl | DAPO |
|---|---|---|---|
| 主打場景 | 通用 RLHF | 通用 RL + Agent | 長 CoT 推理 |
| 演算法核心 | PPO / REINFORCE | PPO + 多變體 | Decoupled Clip + Dynamic Sampling |
| 訓練框架 | DeepSpeed | Ray + vLLM | 基於 verl 改造 |
| 開源程度 | 較完整 | 較完整 | 系統級全套 |
DAPO 不打算做「通用 RLHF 框架」,只專注一件事:讓長 CoT 的 RL 訓練可工程化。
字節+清華的合作模式
倉庫名稱 BytedTsinghua-SIA 已經說明一切:字節出算力與工程團隊,清華 AIR 出演算法構想。
中國大廠與頂級高校的聯合實驗室模式,從 USTC-Microsoft、THU-IBM 延續至今,已運作多年。DAPO 的特殊之處在於:字節直接把工業級 RL 訓練基建(資料管線、分散式 rollout、reward 服務)開源出來。
這背後是策略選擇。在 RL infra 這條賽道上,字節系正在扮演類似 Linux Foundation 的「自來水」角色——讓大家都用我的底層,真正的護城河在資料和應用場景。
從程式碼可以看出什麼
clone 下來後翻了一下目錄結構:
DAPO/
├── README.md
├── verl/ # 訓練框架,基於字節開源的 verl 改造
├── examples/ # 配置範例
│ └── aime_mix_train.yaml
├── scripts/ # 啟動腳本
├── reward_server/ # Reward 服務(獨立部署)
└── docs/ # 演算法解讀
幾個關鍵觀察:
1. 訓練框架基於 verl
verl/ 目錄說明 DAPO 是基於字節自家的 verl(Volcano Engine Reinforcement Learning)開發的。verl 底層使用 Ray + vLLM,支援 PPO、GRPO 等多種演算法。
DAPO 在 verl 之上做了兩層客製化:
- 演算法層:Decoupled Clip、Dynamic Sampling
- 系統層:reward 服務解耦、rollout 最佳化
2. 資料格式很工程化
examples/aime_mix_train.yaml 中的 schema:
data:
train_files: ~/data/rl/aime_mix/train.parquet
val_files: ~/data/rl/aime_mix/test.parquet
prompt_key: prompt
max_prompt_length: 2048
max_response_length: 8192
train_batch_size: 512
val_batch_size: 256
注意 max_response_length: 8192——這是典型的長 CoT 配置,一般 RLHF 任務設到 2048 就夠了。
3. 一般研究者跑得起來嗎?
門檻不算低:
- 至少 4-8 張 H100/A100(README 建議 16 卡)
- 數十 GB 的數學題資料(AIME、MATH、NuminaMath)
- 需要熟悉 Ray 叢集部署
不過 repo 提供了完整的 scripts/,只要有算力,理論上 bash scripts/run_dapo.sh 就能啟動。相比那些「程式碼開源但無法復現」的工作,DAPO 已經算有誠意了。
誰該關注這件事
按優先順序:
- 做 reasoning 模型的小團隊:Qwen、DeepSeek、Yi 已在做大 long CoT RL,但小團隊缺乏工程能力。DAPO 提供了一個相對完整的起點。
- 在 GRPO / PPO 上踩過坑的人:DAPO 的 dynamic sampling 與 decoupled clip 是可直接借鏡的工程經驗。
- 關注 RL infra 投資邏輯的人:字節系(火山引擎 + Seed)在 RL 基建上的投入持續加碼,這是判斷「RL infra 是否形成獨立賽道」的一個訊號。
- 學術界研究者:清華 AIR 背書 + 完整程式碼 + 論文,標準的「工業級 baseline」工作。
編輯觀察
字節系在 RL infra 上的開源節奏,有一條清晰的脈絡:基礎設施免費,真正的護城河在資料與場景。
這和 Meta 的 Llama 策略不太一樣。Meta 開源模型權重是為了對抗 OpenAI 的 API 鎖定,商業邏輯是「更多人用我的模型 → 更多人買我的 GPU/廣告」。字節做 DAPO、verl、UI-TARS 這一連串開源,商業邏輯更接近「讓 RL 訓練變成人人可做 → RL 變成水電煤 → 算力與 API 是未來的分潤點」。
這次與過去不同的地方有三個細節:
- 長 CoT RL 的工程化門檻,過去只有 OpenAI、Anthropic 這類閉源玩家能搞定。DAPO 把它變成了一個開源問題。
- Decoupled Clip + Dynamic Sampling 不算演算法創新,而是工程創新。這說明 RL 訓練的瓶頸已經不在演算法,而在資料取樣效率與 GPU 使用率。
- 倉庫命名
BytedTsinghua-SIA反映了一種新型產學合作模式——大廠出算力基建,高校出演算法構想,聯合署名但各自負責擅長的部分。
不確定的地方:DAPO 的訓練成本與實際收斂速度我尚未復現,README 上的數字可能偏樂觀。如果你跑過,歡迎在留言區分享實際經驗。
參考: