バイトダンスのSeedチームと清華大学AIRが共同でDAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)をオープンソース化した。長尺Chain-of-Thought(CoT)下での大規模モデルRL学習に特化した設計になっている。Hacker Newsのフロントページに10 pointsで掲載され、注目度はまだ初期段階。
リポジトリ BytedTsinghua-SIA/DAPO はアルゴリズムだけでなく、システム・データ・設定まで一式を公開している。以下、コードを読んで分かったことを分解して紹介する。
DAPOが解決しようとしている問題
LLMのRLHFに取り組んだことがある人なら、以下の2つの壁にぶつかったはずだ。
- 長尺rolloutは1回で数千tokenを消費し、GPU時間の大半がsamplingに持っていかれる
- 数学推論のように、数百ステップの推論に対して0/1のrewardが1つしか返らないシナリオでは、PPOのadvantage推定のノイズが巨大になる
DAPOの論文タイトルがそのまま課題を示している。A Large-Scale Reinforcement Learning System for Long Chain-of-Thought。主戦場はAIMEやAMCといった数学推論ベンチマークだ。
彼らがOSS化したのは、システム+アルゴリズム+データのスタック全体であり、単発のアルゴリズム改良ではない。
従来のRLHFとの2つの本質的な差分
Decoupled Clip(分離クリッピング)
古典的なPPOではpolicy更新幅を単一のclip ratioで制限する。DAPOはclip rangeを上限と下限に分離し、それぞれ別個に処理する。rewardが極端に疎な長尺タスクでは、gradient clippingの非対称性が拡大するため、この変更はそうした状況で安定性を高める。
Dynamic Sampling Policy Optimization(動的サンプリング)
長CoTのrolloutは高すぎる。あるバッチの80%のサンプルが正解してrewardが全て1になり、残りの20%にだけ勾配信号がある状態では、大きな無駄が発生する。Dynamic Samplingのアプローチはこうだ。現在のバッチに含まれる全promptに対してpre-samplingを行い、全正解または全不正解のサンプルを除外し、勾配価値のあるものだけを残す。
直感的に言えば、importance samplingにおける「important」の判定をdata selection段階に前倒ししたようなものだ。
横並びの比較
| 観点 | OpenRLHF | verl | DAPO |
|---|---|---|---|
| 主戦場 | 汎用RLHF | 汎用RL+Agent | 長CoT推論 |
| アルゴリズムの核 | PPO/REINFORCE | PPO+複数派生 | Decoupled Clip+Dynamic Sampling |
| 学習フレームワーク | DeepSpeed | Ray+vLLM | verlを改造 |
| OSS化の範囲 | 比較的揃っている | 比較的揃っている | システム一式 |
DAPOは「汎用的なRLHFフレームワーク」を狙っているわけではない。やるべきことは1つだけ、長CoTのRL学習を工学的につくれるようにすることだ。
バイト+清華の協業モデル
リポジトリ名BytedTsinghua-SIAが全てを物語っている。バイトが計算資源とエンジニアリングチームを提供し、清華AIRがアルゴリズムのアイデアを出す。
中国の大手企業とトップ大学の共同ラボ方式は、USTC-MicrosoftやTHU-IBMの時代から長らく機能してきた。DAPOの特徴はその先にある。バイトが産業グレードのRL学習インフラ(データパイプライン、分散rollout、rewardサービス)をそのままOSS化したことだ。
これは戦略的な選択でもある。RL infraのレースにおいて、バイト陣営はLinux Foundation的な「水道の蛇口」役を担おうとしている。みんなに土台を使ってもらい、本当の堀はデータとアプリケーションシーンに作る、というわけだ。
コードから読み取れること
cloneしてきてディレクトリ構造を確認した。
DAPO/
├── README.md
├── verl/ # 学習フレームワーク。バイト公開のverlを改造
├── examples/ # 設定サンプル
│ └── aime_mix_train.yaml
├── scripts/ # 起動スクリプト
├── reward_server/ # Rewardサービス(独立デプロイ)
└── docs/ # アルゴリズム解説
押さえておきたいポイントをいくつか。
1. 学習フレームワークはverlがベース
verl/ディレクトリがあることから、DAPOはバイト自家製のverl(Volcano Engine Reinforcement Learning)を土台にしていることが分かる。verlはRay+vLLM上に構築され、PPOやGRPOなど複数のアルゴリズムに対応する。
DAPOはverlの上に2層カスタマイズを加えている。
- アルゴリズム層:Decoupled Clip、Dynamic Sampling
- システム層:rewardサービスの分離、rollout最適化
2. データフォーマットは工学的
examples/aime_mix_train.yamlのスキーマはこうなっている。
data:
train_files: ~/data/rl/aime_mix/train.parquet
val_files: ~/data/rl/aime_mix/test.parquet
prompt_key: prompt
max_prompt_length: 2048
max_response_length: 8192
train_batch_size: 512
val_batch_size: 256
max_response_length: 8192に注目したい。典型的な長CoT設定であり、通常のRLHFタスクなら2042でも十分なはずだ。
3. 一般研究者が動かせるか?
门槛はそれなりに高い。
- 最低4〜8枚のH100/A100(READMEでは16枚推奨)
- 数十GBの数学問題データ(AIME、MATH、NuminaMath)
- Rayクラスタの運用知識
ただし、リポジトリにはscripts/一式が揃っているため、計算資源さえあれば理論上はbash scripts/run_dapo.shで起動できる。「コードは公開されているが再現できない」案件と比べれば、DAPOはかなり良心的と言える。
誰がこの動きを気にするべきか
優先度順に見ていこう。
- reasoningモデルを開発する小規模チーム:Qwen、DeepSeek、Yiといったプレイヤーはすでに長CoT RLに踏み込んでいるが、小チームにその工学的体力を備えるのは難しい。DAPOは彼らにとって比較的まとまった出発点になる。
- GRPO/PPOで苦労してきた人:DAPOのdynamic samplingとdecoupled clipは、そのまま借鉴できるエンジニアリングの知恵だ。
- RL infraへの投資ロジックを追っている人:バイト陣営(火山エンジン+Seed)がRL基盤への投資を続けていることは、「RL infraが独立した市場になりつつあるか」を測るシグナルになる。
- 学術分野の研究者:清華AIRのバックアップ+完全なコード+論文。典型的な「産業グレードのbaseline」作品だ。
編集部の考察
バイト陣営のRL infraに対するOSS化のテンポには、明確なロジックがある。インフラは無料で提供し、本当の堀はデータとユースケースに作る。
これはMetaのLlama戦略とはやや方向性が異なる。Metaがモデル重みをOSS化するのはOpenAIのAPIロックインに対抗するためで、「より多くの人に自社モデルを使わせる→自社GPU/広告の買い手を増やす」という商業ロジックだ。バイトがDAPO、verl、UI-TARSと矢継ぎ早にOSSを進めるロジックは、RL学習を誰でもできるものにする→RLを水电煤のような存在にする→将来の収益は算力とAPIから取る、という発想に近い。
今回、過去の動きと具体的に何が違うか。細部を3つ挙げる。
- 長CoT RLの工学的门槛は、これまでOpenAIやAnthropicのようなクローズド勢しか越えられなかった。DAPOはそれをOSS上の課題に引きずり出した。
- Decoupled Clip+Dynamic Samplingはアルゴリズムの新規発明ではなく、工学的工夫。これは、RL学習のボトルネックがアルゴリズムではなくデータサンプリング効率とGPU利用率に移っていることを示している。
- リポジトリ名
BytedTsinghua-SIAは新しい産学連携の形を映している。大企業が計算資源とインフラを提供し、大学がアルゴリズムのアイデアを提供し、共同名義だがそれぞれ得意領域に責任を持つ。
不確実な点として、DAPOの学習コストと実際の収束速度は自分で再現できていないため、README上の数字は楽観的な可能性がある。実際に動かした人は、コメント欄でリアルな経験を共有してほしい。
参考: