框架

字節×清華開源 DAPO:把長鏈推理的 RL 訓練做成工程活

字節 Seed 與清華 AIR 聯手開源 DAPO,主攻長 CoT 場景下的強化學習訓練基建:以解耦裁剪與動態取樣為核心,基於 verl 框架改造,一次公開演算法、系統與資料的完整棧。

字級

字節跳動 Seed 團隊與清華 AIR 聯合開源了 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization),專門用於長 Chain-of-Thought(CoT)場景下的大模型 RL 訓練。HN 首頁拿下 10 points,熱度仍在醞釀期。

倉庫 BytedTsinghua-SIA/DAPO 不只是發了演算法,系統、資料、配置全套攤開。以下是我翻過程式碼後整理出的重點。

DAPO 要解決的問題

做 LLM RLHF 的工程師大概都遇過這兩個痛點:

  • 長鏈路 rollout 動輒幾千 token,GPU 時間幾乎全花在 sampling 上
  • 數學推理這類場景,數百步推理只回傳一個 0/1 reward,PPO 的 advantage 估計雜訊極大

DAPO 的論文標題直接點出核心難題:A Large-Scale Reinforcement Learning System for Long Chain-of-Thought,主要戰場是 AIME、AMC 這類數學推理基準。

他們開源的是系統 + 演算法 + 資料整套堆疊,而非單一演算法改進。

與傳統 RLHF 的兩個關鍵差異

Decoupled Clip(解耦裁剪)

傳統 PPO 用同一個 clip ratio 限制 policy 更新幅度。DAPO 把 clip range 解耦成上下界分開處理,在 reward 極度稀疏的長鏈路任務中,gradient clipping 的不對稱性會被放大,這個改動在該場景下更穩。

Dynamic Sampling Policy Optimization(動態取樣)

長 CoT 的 rollout 成本太高。一批資料裡 80% 的樣本答對,reward 全是 1,其餘 20% 才帶有梯度訊號,這是巨大的浪費。Dynamic Sampling 的做法是:對當前 batch 的所有 prompt 做預採樣,過濾掉全對或全錯的樣本,只保留有梯度價值的部分。

直覺上,相當於把 importance sampling 中的 "important" 提前到 data selection 階段處理。

橫向比較

維度OpenRLHFverlDAPO
主打場景通用 RLHF通用 RL + Agent長 CoT 推理
演算法核心PPO / REINFORCEPPO + 多變體Decoupled Clip + Dynamic Sampling
訓練框架DeepSpeedRay + vLLM基於 verl 改造
開源程度較完整較完整系統級全套

DAPO 不打算做「通用 RLHF 框架」,只專注一件事:讓長 CoT 的 RL 訓練可工程化。

字節+清華的合作模式

倉庫名稱 BytedTsinghua-SIA 已經說明一切:字節出算力與工程團隊,清華 AIR 出演算法構想。

中國大廠與頂級高校的聯合實驗室模式,從 USTC-Microsoft、THU-IBM 延續至今,已運作多年。DAPO 的特殊之處在於:字節直接把工業級 RL 訓練基建(資料管線、分散式 rollout、reward 服務)開源出來。

這背後是策略選擇。在 RL infra 這條賽道上,字節系正在扮演類似 Linux Foundation 的「自來水」角色——讓大家都用我的底層,真正的護城河在資料和應用場景。

從程式碼可以看出什麼

clone 下來後翻了一下目錄結構:

DAPO/
├── README.md
├── verl/                 # 訓練框架,基於字節開源的 verl 改造
├── examples/             # 配置範例
│   └── aime_mix_train.yaml
├── scripts/              # 啟動腳本
├── reward_server/        # Reward 服務(獨立部署)
└── docs/                 # 演算法解讀

幾個關鍵觀察:

1. 訓練框架基於 verl

verl/ 目錄說明 DAPO 是基於字節自家的 verl(Volcano Engine Reinforcement Learning)開發的。verl 底層使用 Ray + vLLM,支援 PPO、GRPO 等多種演算法。

DAPO 在 verl 之上做了兩層客製化:

  • 演算法層:Decoupled Clip、Dynamic Sampling
  • 系統層:reward 服務解耦、rollout 最佳化

2. 資料格式很工程化

examples/aime_mix_train.yaml 中的 schema:

data:
  train_files: ~/data/rl/aime_mix/train.parquet
  val_files: ~/data/rl/aime_mix/test.parquet
  prompt_key: prompt
  max_prompt_length: 2048
  max_response_length: 8192
  train_batch_size: 512
  val_batch_size: 256

注意 max_response_length: 8192——這是典型的長 CoT 配置,一般 RLHF 任務設到 2048 就夠了。

3. 一般研究者跑得起來嗎?

門檻不算低:

  • 至少 4-8 張 H100/A100(README 建議 16 卡)
  • 數十 GB 的數學題資料(AIME、MATH、NuminaMath)
  • 需要熟悉 Ray 叢集部署

不過 repo 提供了完整的 scripts/,只要有算力,理論上 bash scripts/run_dapo.sh 就能啟動。相比那些「程式碼開源但無法復現」的工作,DAPO 已經算有誠意了。

誰該關注這件事

按優先順序:

  1. 做 reasoning 模型的小團隊:Qwen、DeepSeek、Yi 已在做大 long CoT RL,但小團隊缺乏工程能力。DAPO 提供了一個相對完整的起點。
  2. 在 GRPO / PPO 上踩過坑的人:DAPO 的 dynamic sampling 與 decoupled clip 是可直接借鏡的工程經驗。
  3. 關注 RL infra 投資邏輯的人:字節系(火山引擎 + Seed)在 RL 基建上的投入持續加碼,這是判斷「RL infra 是否形成獨立賽道」的一個訊號。
  4. 學術界研究者:清華 AIR 背書 + 完整程式碼 + 論文,標準的「工業級 baseline」工作。

編輯觀察

字節系在 RL infra 上的開源節奏,有一條清晰的脈絡:基礎設施免費,真正的護城河在資料與場景。

這和 Meta 的 Llama 策略不太一樣。Meta 開源模型權重是為了對抗 OpenAI 的 API 鎖定,商業邏輯是「更多人用我的模型 → 更多人買我的 GPU/廣告」。字節做 DAPO、verl、UI-TARS 這一連串開源,商業邏輯更接近「讓 RL 訓練變成人人可做 → RL 變成水電煤 → 算力與 API 是未來的分潤點」。

這次與過去不同的地方有三個細節:

  1. 長 CoT RL 的工程化門檻,過去只有 OpenAI、Anthropic 這類閉源玩家能搞定。DAPO 把它變成了一個開源問題。
  2. Decoupled Clip + Dynamic Sampling 不算演算法創新,而是工程創新。這說明 RL 訓練的瓶頸已經不在演算法,而在資料取樣效率與 GPU 使用率。
  3. 倉庫命名 BytedTsinghua-SIA 反映了一種新型產學合作模式——大廠出算力基建,高校出演算法構想,聯合署名但各自負責擅長的部分。

不確定的地方:DAPO 的訓練成本與實際收斂速度我尚未復現,README 上的數字可能偏樂觀。如果你跑過,歡迎在留言區分享實際經驗。

參考:

來源: https://github.com/BytedTsinghua-SIA/DAPO