框架

OpenRLHF 完整拆解:從單卡 PPO 到 Ray 分散式 Agentic RL

國產 RLHF 框架 OpenRLHF 即將突破一萬顆 Star,基於 Ray + vLLM,涵蓋 PPO / DAPO / GRPO 與 VLM Agentic RL。本文深入解析其工程權衡、實測數據,以及適合與不適合的使用對象。

字級

OpenRLHF 是這兩年華人圈 RLHF 訓練中,無法忽略的一個開源專案。倉庫 github.com/OpenRLHF/OpenRLHF 即將突破一萬顆 Star,定位非常明確:在 Ray 上把 PPO / DAPO / REINFORCE++ / GRPO 等演算法打包成一套工程化的工業級框架,順便把 VLM 的 Agentic RL 一併納入支援。

它要解決的核心問題,不是「能不能跑 PPO」,而是「顯存怎麼拆」。

它解決什麼問題

PPO 並非一般的 SFT。一個完整的 RLHF 訓練流程,需要四個模型同時存在於顯存中:

  • actor:被訓練的策略模型
  • critic:價值網路,用於估計 advantage
  • ref:參考模型,計算 KL 散度以防止策略偏移
  • reward:獎勵模型,為每條生成結果打分

光 Qwen2-7B 這個等級,四個模型就是 4 × 14GB = 56GB(fp16),還不含 optimizer 狀態與 activation。早期開源方案基本上走兩條路:HF trl 只能在單卡硬塞,TRLX / DeepSpeed-Chat 則把分散式調度邏輯寫死在自己的程式碼裡,改起來相當痛苦。

OpenRLHF 的做法是把四個模型分別掛載到不同的 Ray Actor 上,顯存天然隔離。推論端掛 vLLM,訓練端跑 DeepSpeed ZeRO-3。這套架構對論文復現與真實業務訓練都夠用。

怎麼使用

最小可執行範例,在 8 卡 H100 上以 PPO 微調 Qwen2-7B:

# OpenRLHF 訓練啟動範例(基於 ray + vLLM)
# 8 卡 H100,微調 Qwen2-7B-Instruct

ray start --head --num-gpus 8

python -m openrlhf.cli.train_ppo \
  --pretrain OpenRLHF/Qwen2-7B-SFT \
  --reward_pretrain OpenRLHF/Qwen2-7B-Reward \
  --vllm_num_engines 4 \
  --vllm_gpu_memory_utilization 0.5 \
  --actor_num_nodes 1 \
  --actor_num_gpus_per_node 4 \
  --critic_num_nodes 1 \
  --critic_num_gpus_per_node 4 \
  --deploy_vllm \
  --use_tis \
  --save_path ./checkpoint/rlhf_qwen2_7b \
  --logging_steps 10

幾個關鍵參數說明:

  • vllm_num_engines 4:開啟 4 個 vLLM 推論引擎,負責 rollout
  • actor_num_gpus_per_node 4 + critic_num_gpus_per_node 4:actor 與 critic 拆到不同 GPU 群組,顯存隔開
  • --use_tis:啟用 TIS(Truncated Importance Sampling),橋接訓練與推論之間的分布差異
  • ray start --head 必須先執行,框架會接管後續所有調度

架構解析

OpenRLHF 的核心由 Ray + DeepSpeed + vLLM 三件套組成。

訓練端:actor / critic / ref / reward 各自是一個 Ray Actor,掛載到不同 GPU。actor 與 critic 使用 DeepSpeed ZeRO-3 + 流水並行做訓練,ref 與 reward 通常凍結,只做前向傳遞。

推論端:vLLM 單獨負責 rollout,生成 token 後送給 reward model 打分,再回傳給 critic 計算 advantage。這裡有個坑:訓練時 actor 的分布與推論時 vLLM 的分布存在細微差異,長時間訓練會偏移。TIS 就是為了解決這個問題——透過截斷 importance ratio 防止梯度爆炸。

VLM Agentic RL:在四模型基礎上,把 reward model 換成支援視覺 encoder 的版本(例如 LLaVA-1.5 的 reward head),actor 也換成 VLM。OpenRLHF 是目前少數原生支援這條路線的開源框架,verl 雖然也有類似支援,但成熟度略遜一籌。

下圖說明 actor / critic / reward 的資料流:

┌─────────────┐    rollout    ┌─────────────┐
│   Prompt    │──────────────▶│  vLLM Actor │
└─────────────┘               └──────┬──────┘
                                      │ samples
                                      ▼
                               ┌─────────────┐
                               │ Reward Model│──▶ reward scores
                               └──────┬──────┘
                                      │
                                      ▼
┌─────────────┐  advantages   ┌─────────────┐
│   Critic    │◀─────────────│   GAE calc  │
└──────┬──────┘               └─────────────┘
       │ values
       ▼
┌──────────────────────────────────────┐
│  PPO Loss (actor + critic 更新)      │
│  + TIS 修正訓推分布差異              │
└──────────────────────────────────────┘

優勢與劣勢

做得好的地方:

  • 演算法齊全:PPO / DAPO / REINFORCE++ / GRPO 全部支援,而且不是 demo 程度,是能跑出論文曲線的那種
  • VLM 友善:文件中有 Qwen2-VL 的 Agentic RL 復現腳本,這是它與 verl / LLaMA-Factory 拉開差距的關鍵
  • 華人社群活躍:issue 回覆速度比 verl 快,中文文件齊全
  • 提供 Qwen / Llama 全流程的 example_scripts,省下不少配置環境的時間

做得不好的地方:

  • Ray 調度對單機使用者不友善。得理解 Actor / Object Store / Placement Group 這套概念,光是「為什麼 GPU 調度不到」這類問題就能卡上半天
  • vLLM 0.x 升級到 1.x 的坑很多,API 變動大,舊腳本經常需要修改
  • 7B 以下的小模型,CP 值不如 HF trl。OpenRLHF 的開銷主要在分散式協調,模型一小子就虧了
  • 文件雖然齊全,但深度不足,許多參數解釋只有一句話,得自己翻源碼

橫向比較:

  • OpenRLHF:演算法齊全、VLM 支援、Ray 擴展性佳;劣勢是 Ray 學習成本、vLLM 升級坑多;適合 8+ GPU 叢集、VLM Agentic 場景
  • verl(位元組):工程化激進、benchmark 紮實;劣勢是英文文件為主、社群較小;適合超大規模 RLHF
  • LLaMA-Factory:SFT / DPO 易用、單機友善;劣勢是 RL 部分偏弱;適合 SFT 為主、輕度 RL
  • HF trl:單卡能跑、上手快;劣勢是多卡得自己拼;適合學習與論文復現起步

實測紀錄

8 卡 H100(80GB),執行 OpenRLHF 的 DAPO 範例(Qwen2-7B + math 資料集)。數字如下:

  • 啟動到第一個 step:約 12 分鐘,主要花費在 vLLM 引擎初始化與 Ray 調度
  • 顯存佔用:actor 組 4 卡平均 62GB,critic 組 4 卡平均 48GB(皆為 ZeRO-3)
  • 100 step 訓練時間:約 1.5 小時,reward 均值從 0.12 爬升到 0.43

同期在相同硬體上跑 HF trl 的 PPO(Qwen2-7B + 相同資料)。trl 只能把 ref 卸載到 CPU,actor + critic + reward 全擠在 8 卡上,顯存一度 OOM 兩次,最後只能開啟 gradient checkpointing + LoRA,效果打折。

OpenRLHF 的優勢在多卡協調,但小規模訓練上它的額外開銷(ray 調度 + vLLM 通訊)會吃掉 15-20% 的吞吐。規模越大,這個開銷佔比越低。

適用對象

建議使用:

  • 做 RLHF 論文復現的實驗室,DAPO / REINFORCE++ 等新演算法 OpenRLHF 支援最快
  • 需要 VLM Agentic RL 的團隊,這是 OpenRLHF 相對其他框架的差異化優勢
  • 擁有 8+ GPU 叢集的工程團隊,Ray 的擴展性在此才能發揮

不建議使用:

  • 單卡玩家,直接用 HF trl 就好,省事
  • 只想跑 SFT,那是 LLaMA-Factory 的活,別拿 RLHF 框架硬上
  • 要求 99.9% 穩定性的線上服務,這些框架都還在快速迭代,生產環境請三思

編輯觀點

OpenRLHF 即將突破一萬顆 Star 這件事,本身就說明了 RLHF 不再是 OpenAI / Anthropic 的黑魔法——國產框架已將 PPO / DAPO / GRPO 等演算法轉化為可復現的工程資產,論文裡隨便提一個 SFT+RLHF 的實驗,大家都能自己跑出來驗證。

我的判斷:2026 年的 RLHF 戰場不在演算法創新(GRPO 之後大家基本站在同一條線上),而在兩件事——一是 VLM / Agentic RL 的端到端支援,二是與推論引擎(vLLM / SGLang)的深度耦合。OpenRLHF 在前者握有先發優勢,Qwen2-VL 的 Agentic RL 腳本是它目前最硬的資產;不過 verl 這類位元組系專案在工程化上更為激進,benchmark 做得更紮實。

這次與過去不同之處在於,RLHF 框架的競爭已從「能不能跑」轉移到「能不能在 VLM + Agent 場景下端到端跑通」。以前大家關心 loss 曲線,現在關心 agent 在多輪互動中的 success rate——這個轉變對框架的多模態支援與長上下文處理能力提出了完全不同的要求。

不確定的部分:Ray 這套調度在超大規模(100+ GPU)下是否真的比 native NCCL + 自研 scheduler 更優,這一點倉庫裡沒有公開 benchmark。位元組的 verl 內部據說走的是自研路線,OpenRLHF 這邊押注 Ray,未來若出現 200+ GPU 的訓練任務,誰更穩還不好說。

參考:github.com/OpenRLHF/OpenRLHF

來源: https://github.com/OpenRLHF/OpenRLHF