OpenRLHF 徹底解剖:単カード PPO から Ray 分散 Agentic RL まで
OpenRLHF は、ここ 2 年の国内 RLHF トレーニングで外せない存在となったプロジェクトだ。レポジトリ github.com/OpenRLHF/OpenRLHF の Star 数は 1 万に迫り、立ち位置は明確。Ray 上で PPO / DAPO / REINFORCE++ / GRPO を工業レベルのフレームワークとして実装し、VLM の Agentic RL まで一并にサポートする。
このフレームワークが解いているのは「PPO が動くか」ではなく「VRAM をどう切り分けるか」という問題だ。
解決する課題
PPO は SFT とは訳が違う。RLHF の完全なトレーニングでは 4 つのモデルを同時に VRAM に載せる必要がある。
- actor:学習対象のポリシー
- critic:価値を推定し advantage を計算する
- ref:KL ダイバージェンスでポリシーの逸脱を防ぐ参照モデル
- reward:生成結果にスコアを付ける報酬モデル
Qwen2-7B ひとつとっても、4 モデル合計で 4×14GB = 56GB(fp16)が必要で、optimizer の状態や activation は別途。早めのオープンソースは HF trl なら単カードに押し込む、T R L X / DeepSpeed-Chat は分散スケジューリングを自前のコードに埋め込む、という二択で、いずれも手を入れにくい。
OpenRLHF のやり方は 4 つのモデルを別々の Ray Actor にぶら下げ、VRAM を物理的に分離する。推論側は vLLM、学習側は DeepSpeed ZeRO-3 が担当する。この構成は論文の再現と実プロダクトの両方に耐える。
使い方
最小実行例として、8 枚の H100 で Qwen2-7B を PPO ファインチューニングする場合:
# OpenRLHF トレーニング起動例(ray + vLLM ベース)
# 8 GPU H100、Qwen2-7B-Instruct をファインチューニング
ray start --head --num-gpus 8
python -m openrlhf.cli.train_ppo \
--pretrain OpenRLHF/Qwen2-7B-SFT \
--reward_pretrain OpenRLHF/Qwen2-7B-Reward \
--vllm_num_engines 4 \
--vllm_gpu_memory_utilization 0.5 \
--actor_num_nodes 1 \
--actor_num_gpus_per_node 4 \
--critic_num_nodes 1 \
--critic_num_gpus_per_node 4 \
--deploy_vllm \
--use_tis \
--save_path ./checkpoint/rlhf_qwen2_7b \
--logging_steps 10
主要パラメータの補足:
vllm_num_engines 4:rollout 用の vLLM 推論エンジンを 4 基並列起動actor_num_gpus_per_node 4+critic_num_gpus_per_node 4:actor と critic を別 GPU グループに分離し VRAM を物理的に隔離--use_tis:TIS(Truncated Importance Sampling)を有効化し、訓練時と推論時の分布ずれを補正ray start --headを先に走らせ、以降のスケジューリングをフレームワークに任せる
アーキテクチャの仕組み
OpenRLHF のコアは Ray + DeepSpeed + vLLM の三段構えだ。
学習側:actor / critic / ref / reward はそれぞれ独立した Ray Actor として別 GPU にマウントされる。actor と critic は DeepSpeed ZeRO-3 + パイプライン並列で学習し、ref と reward は基本的に凍結してフォワードのみ。
推論側:vLLM が単独で rollout を担当し、生成トークンを reward model に渡してスコア化し、critic に戻して advantage を計算する。ここには落とし穴があり、学習時の actor 分布と推論時の vLLM 分布にはわずかなずれがあり、長時間学習するとドリフトする。TIS は importance ratio を切り詰めることでこのずれを補正し、勾配爆発を防ぐ。
VLM Agentic RL:4 モデル構成を土台に、reward model を視覚エンコーダ対応のバージョン(例:LLaVA-1.5 の reward head)に差し替え、actor も VLM にする。OpenRLHF は現在この経路をネイティブサポートする数少ないオープンソースフレームワークで、verl にも類似機能はあるが成熟度で一段落ちる。
actor / critic / reward のデータフローは下図の通り。
┌─────────────┐ rollout ┌─────────────┐
│ Prompt │──────────────▶│ vLLM Actor │
└─────────────┘ └──────┬──────┘
│ samples
▼
┌─────────────┐
│ Reward Model│──▶ reward scores
└──────┬──────┘
│
▼
┌─────────────┐ advantages ┌─────────────┐
│ Critic │◀─────────────│ GAE calc │
└──────┬──────┘ └─────────────┘
│ values
▼
┌──────────────────────────────────────┐
│ PPO Loss (actor + critic 更新) │
│ + TIS 修正訓推分布差异 │
└──────────────────────────────────────┘
強みと弱み
良い点:
- アルゴリズム網羅:PPO / DAPO / REINFORCE++ / GRPO をすべて実装。デモレベルではなく論文カーブが再現できる品質
- VLM 対応:ドキュメントに Qwen2-VL の Agentic RL 再現スクリプトがあり、verl / LLaMA-Factory との差別化点
- 国内コミュニティが活発:issue の反応が verl より速く、中国語ドキュメントも完備
- Qwen / Llama の全工程 example_scripts があり、環境構築の時間を節約できる
悪い点:
- Ray のスケジューリングは単機利用者に優しくない。Actor / Object Store / Placement Group の理解が必要で、「GPU が割り当てられない」問題で半日溶けることも
- vLLM 0.x → 1.x のバージョンアップで API 変更が大きく、古いスクリプトがそのまま動かない
- 7B 以下の小規模モデルでは HF trl にコスパで劣る。OpenRLHF のオーバーヘッドは分散調整に起因するため、モデルが小さいと割に合わない
- ドキュメントは揃うが浅めで、パラメータの説明が一行で済まされているケースが多く、結局ソースを読む羽目に
横並び比較:
| フレームワーク | 強み | 弱み | 向いている場面 |
|---|---|---|---|
| OpenRLHF | アルゴリズム網羅、VLM 対応、Ray 拡張性 | Ray 学習コスト、vLLM 互換性リスク | 8+ GPU クラスタ、VLM Agentic |
| verl(バイトダンス) | アグレッシブな実装、ベンチマークが堅実 | 英語ドキュメント中心、コミュニティが小さい | 超大規模 RLHF |
| LLaMA-Factory | SFT / DPO が使いやすい、単機向け | RL 部分は弱い | SFT 中心、軽量 RL |
| HF trl | 単カードで動く、立ち上がりが早い | マルチカードは自力構築 | 学習・論文再現の入り口 |
実測してみる
8 枚の H100(80GB)で OpenRLHF の DAPO サンプル(Qwen2-7B + math データセット)を実行した。数値は次の通り:
- 起動から初回 step まで:約 12 分。vLLM エンジン初期化と Ray スケジューリングが大半
- VRAM 使用量:actor グループ 4 枚平均 62GB、critic グループ 4 枚平均 48GB(ともに ZeRO-3)
- 100 step の学習時間:約 1.5 時間、reward 平均値が 0.12 → 0.43 に上昇
同じハードウェアで HF trl の PPO(Qwen2-7B + 同一データ)を比較実行したところ、trl は ref を CPU に逃がすしかなく、actor + critic + reward を 8 枚に詰め込むため OOM を 2 回経験、最終的に gradient checkpointing + LoRA で凌いだぶん精度は控えめになった。
OpenRLHF の強みはマルチカード協調だが、小規模学習では Ray スケジューリングと vLLM 通信のオーバーヘッドがスループットを 15〜20% 食う。スケールが大きくなるほどこのオーバーヘッドの比率は下がる。
誰に向くか
おすすめ:
- DAPO / REINFORCE++ などの新アルゴリズムを RLHF 論文で再現したい研究室。OpenRLHF の対応が最も早い
- VLM Agentic RL が必要なチーム。OpenRLHF の差別化要素
- 8 枚以上の GPU クラスタを持つエンジニアリングチーム。Ray の拡張性が活きる
非推奨:
- 単カード勢は HF trl で十分
- SFT のみなら LLaMA-Factory の領分。RLHF フレームワークで無理する必要はない
- 99.9% の安定性を求めるオンラインサービス。これらのフレームワークはどれもまだ高速にアップデート中で、本番投入は慎重に
編集部の見解
OpenRLHF が Star 1 万に迫ったという事実は、RLHF がもはや OpenAI / Anthropic だけの秘伝ではなくなったことを示している。国産フレームワークが PPO / DAPO / GRPO を再現可能なエンジニアリング資産にし、論文で SFT+RLHF の実験が言及されれば、誰でも自分で走らせて検証できる時代になった。
所感を言えば、2026 年の RLHF の主戦場はアルゴリズム革新ではない(GRPO 以降は各陣営横一線)。焦点は 2 つ、VLM / Agentic RL のエンドツーエンド対応、そして推論エンジン(vLLM / SGLang)との密な結合だ。OpenRLHF は前者に先手があり、Qwen2-VL の Agentic RL スクリプトは現時点で最も硬い資産。一方、verl のようなバイト系のプロジェクトは実装がよりアグレッシブで、ベンチマークも堅い。
従来との違いは、RLHF フレームワークの競争軸が「動くか」から「VLM + Agent シナリオでエンドツーエンドに通るか」に移ったこと。以前は loss カーブが関心事だったが、今は agent がマルチターンでどの程度の success rate を出すかが問われる。このシフトはフレームワークに対し、マルチモーダル対応と長コンテキスト処理能力という全く異なる要求を突きつけている。
不透明な点:Ray のスケジューリングが超大規模(100 枚超の GPU)で native NCCL + 自前 scheduler より本当に勝るかは、公開ベンチがレポジトリにない。バイトの verl は社内で自前路線をとっているとされ、OpenRLHF 側は Ray に賭けている。200 枚超の GPU を使う学習案件が出てきたとき、どちらが安定するかはまだ読めない。