フレームワーク

バイトダンス×清華大学がDAPOをOSS化 ― 長尺CoTを強化学習で回すための工学的レシピ

バイトのSeedチームと清華AIRが共同で公開したDAPOは、長尺Chain-of-ThoughtのRL学習基盤を丸ごと切り開いたフレームワークだ。verlを土台に、Decoupled ClipとDynamic Samplingで長CoT推論の学習を実用化する。

文字サイズ

バイトダンスのSeedチームと清華大学AIRが共同でDAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)をオープンソース化した。長尺Chain-of-Thought(CoT)下での大規模モデルRL学習に特化した設計になっている。Hacker Newsのフロントページに10 pointsで掲載され、注目度はまだ初期段階。

リポジトリ BytedTsinghua-SIA/DAPO はアルゴリズムだけでなく、システム・データ・設定まで一式を公開している。以下、コードを読んで分かったことを分解して紹介する。

DAPOが解決しようとしている問題

LLMのRLHFに取り組んだことがある人なら、以下の2つの壁にぶつかったはずだ。

  • 長尺rolloutは1回で数千tokenを消費し、GPU時間の大半がsamplingに持っていかれる
  • 数学推論のように、数百ステップの推論に対して0/1のrewardが1つしか返らないシナリオでは、PPOのadvantage推定のノイズが巨大になる

DAPOの論文タイトルがそのまま課題を示している。A Large-Scale Reinforcement Learning System for Long Chain-of-Thought。主戦場はAIMEやAMCといった数学推論ベンチマークだ。

彼らがOSS化したのは、システム+アルゴリズム+データのスタック全体であり、単発のアルゴリズム改良ではない。

従来のRLHFとの2つの本質的な差分

Decoupled Clip(分離クリッピング)

古典的なPPOではpolicy更新幅を単一のclip ratioで制限する。DAPOはclip rangeを上限と下限に分離し、それぞれ別個に処理する。rewardが極端に疎な長尺タスクでは、gradient clippingの非対称性が拡大するため、この変更はそうした状況で安定性を高める。

Dynamic Sampling Policy Optimization(動的サンプリング)

長CoTのrolloutは高すぎる。あるバッチの80%のサンプルが正解してrewardが全て1になり、残りの20%にだけ勾配信号がある状態では、大きな無駄が発生する。Dynamic Samplingのアプローチはこうだ。現在のバッチに含まれる全promptに対してpre-samplingを行い、全正解または全不正解のサンプルを除外し、勾配価値のあるものだけを残す。

直感的に言えば、importance samplingにおける「important」の判定をdata selection段階に前倒ししたようなものだ。

横並びの比較

観点OpenRLHFverlDAPO
主戦場汎用RLHF汎用RL+Agent長CoT推論
アルゴリズムの核PPO/REINFORCEPPO+複数派生Decoupled Clip+Dynamic Sampling
学習フレームワークDeepSpeedRay+vLLMverlを改造
OSS化の範囲比較的揃っている比較的揃っているシステム一式

DAPOは「汎用的なRLHFフレームワーク」を狙っているわけではない。やるべきことは1つだけ、長CoTのRL学習を工学的につくれるようにすることだ。

バイト+清華の協業モデル

リポジトリ名BytedTsinghua-SIAが全てを物語っている。バイトが計算資源とエンジニアリングチームを提供し、清華AIRがアルゴリズムのアイデアを出す。

中国の大手企業とトップ大学の共同ラボ方式は、USTC-MicrosoftやTHU-IBMの時代から長らく機能してきた。DAPOの特徴はその先にある。バイトが産業グレードのRL学習インフラ(データパイプライン、分散rollout、rewardサービス)をそのままOSS化したことだ。

これは戦略的な選択でもある。RL infraのレースにおいて、バイト陣営はLinux Foundation的な「水道の蛇口」役を担おうとしている。みんなに土台を使ってもらい、本当の堀はデータとアプリケーションシーンに作る、というわけだ。

コードから読み取れること

cloneしてきてディレクトリ構造を確認した。

DAPO/
├── README.md
├── verl/                 # 学習フレームワーク。バイト公開のverlを改造
├── examples/             # 設定サンプル
│   └── aime_mix_train.yaml
├── scripts/              # 起動スクリプト
├── reward_server/        # Rewardサービス(独立デプロイ)
└── docs/                 # アルゴリズム解説

押さえておきたいポイントをいくつか。

1. 学習フレームワークはverlがベース

verl/ディレクトリがあることから、DAPOはバイト自家製のverl(Volcano Engine Reinforcement Learning)を土台にしていることが分かる。verlはRay+vLLM上に構築され、PPOやGRPOなど複数のアルゴリズムに対応する。

DAPOはverlの上に2層カスタマイズを加えている。

  • アルゴリズム層:Decoupled Clip、Dynamic Sampling
  • システム層:rewardサービスの分離、rollout最適化

2. データフォーマットは工学的

examples/aime_mix_train.yamlのスキーマはこうなっている。

data:
  train_files: ~/data/rl/aime_mix/train.parquet
  val_files: ~/data/rl/aime_mix/test.parquet
  prompt_key: prompt
  max_prompt_length: 2048
  max_response_length: 8192
  train_batch_size: 512
  val_batch_size: 256

max_response_length: 8192に注目したい。典型的な長CoT設定であり、通常のRLHFタスクなら2042でも十分なはずだ。

3. 一般研究者が動かせるか?

门槛はそれなりに高い。

  • 最低4〜8枚のH100/A100(READMEでは16枚推奨)
  • 数十GBの数学問題データ(AIME、MATH、NuminaMath)
  • Rayクラスタの運用知識

ただし、リポジトリにはscripts/一式が揃っているため、計算資源さえあれば理論上はbash scripts/run_dapo.shで起動できる。「コードは公開されているが再現できない」案件と比べれば、DAPOはかなり良心的と言える。

誰がこの動きを気にするべきか

優先度順に見ていこう。

  1. reasoningモデルを開発する小規模チーム:Qwen、DeepSeek、Yiといったプレイヤーはすでに長CoT RLに踏み込んでいるが、小チームにその工学的体力を備えるのは難しい。DAPOは彼らにとって比較的まとまった出発点になる。
  2. GRPO/PPOで苦労してきた人:DAPOのdynamic samplingとdecoupled clipは、そのまま借鉴できるエンジニアリングの知恵だ。
  3. RL infraへの投資ロジックを追っている人:バイト陣営(火山エンジン+Seed)がRL基盤への投資を続けていることは、「RL infraが独立した市場になりつつあるか」を測るシグナルになる。
  4. 学術分野の研究者:清華AIRのバックアップ+完全なコード+論文。典型的な「産業グレードのbaseline」作品だ。

編集部の考察

バイト陣営のRL infraに対するOSS化のテンポには、明確なロジックがある。インフラは無料で提供し、本当の堀はデータとユースケースに作る。

これはMetaのLlama戦略とはやや方向性が異なる。Metaがモデル重みをOSS化するのはOpenAIのAPIロックインに対抗するためで、「より多くの人に自社モデルを使わせる→自社GPU/広告の買い手を増やす」という商業ロジックだ。バイトがDAPO、verl、UI-TARSと矢継ぎ早にOSSを進めるロジックは、RL学習を誰でもできるものにする→RLを水电煤のような存在にする→将来の収益は算力とAPIから取る、という発想に近い。

今回、過去の動きと具体的に何が違うか。細部を3つ挙げる。

  1. 長CoT RLの工学的门槛は、これまでOpenAIやAnthropicのようなクローズド勢しか越えられなかった。DAPOはそれをOSS上の課題に引きずり出した。
  2. Decoupled Clip+Dynamic Samplingはアルゴリズムの新規発明ではなく、工学的工夫。これは、RL学習のボトルネックがアルゴリズムではなくデータサンプリング効率とGPU利用率に移っていることを示している。
  3. リポジトリ名BytedTsinghua-SIAは新しい産学連携の形を映している。大企業が計算資源とインフラを提供し、大学がアルゴリズムのアイデアを提供し、共同名義だがそれぞれ得意領域に責任を持つ。

不確実な点として、DAPOの学習コストと実際の収束速度は自分で再現できていないため、README上の数字は楽観的な可能性がある。実際に動かした人は、コメント欄でリアルな経験を共有してほしい。

参考:

出典: https://github.com/BytedTsinghua-SIA/DAPO