框架

OpenRLHF 深度解析:从单卡 PPO 到 Ray 分布式 Agentic RL

国产 RLHF 框架 OpenRLHF 已经接近 1w Stars,基于 Ray + vLLM,支持 PPO / DAPO / GRPO 与 VLM Agentic RL。本文拆解它的工程取舍、跑通实测,以及谁该装、谁别碰。

字号

OpenRLHF 是这两年国内 RLHF 训练里绕不开的一个项目。仓库 github.com/OpenRLHF/OpenRLHF 已经接近 1w Stars,定位很明确:在 Ray 上把 PPO / DAPO / REINFORCE++ / GRPO 这些算法做成一套工程化的工业级框架,顺便把 VLM 的 Agentic RL 也一起支持了。

它解决的核心问题,不是"能不能跑 PPO",而是"显存怎么拆"。

它解决什么问题

PPO 不是普通的 SFT。一个完整的 RLHF 训练需要 4 个模型同时在显存里:

  • actor:被训练的策略
  • critic:价值网络,估计 advantage
  • ref:参考模型,计算 KL 散度,防止策略跑偏
  • reward:奖励模型,给每条生成打分

光 Qwen2-7B 这一档,4 个模型就是 4×14GB = 56GB(fp16),还不算 optimizer 状态和 activation。早期开源方案基本两条路:HF trl 只能在单卡硬塞,要么 TRLX / DeepSpeed-Chat 把分布式调度逻辑全写死在自家代码里,改起来累死人。

OpenRLHF 的做法是把 4 个模型分别挂到不同的 Ray Actor 上,显存天然隔离。推理侧挂 vLLM,训练侧跑 DeepSpeed ZeRO-3。这套架构对论文复现和真实业务训练都够用。

怎么用

最小可运行示例,8 卡 H100 上 PPO 微调 Qwen2-7B:

# OpenRLHF 训练启动示例(基于 ray + vLLM)
# 8 卡 H100,微调 Qwen2-7B-Instruct

ray start --head --num-gpus 8

python -m openrlhf.cli.train_ppo \
  --pretrain OpenRLHF/Qwen2-7B-SFT \
  --reward_pretrain OpenRLHF/Qwen2-7B-Reward \
  --vllm_num_engines 4 \
  --vllm_gpu_memory_utilization 0.5 \
  --actor_num_nodes 1 \
  --actor_num_gpus_per_node 4 \
  --critic_num_nodes 1 \
  --critic_num_gpus_per_node 4 \
  --deploy_vllm \
  --use_tis \
  --save_path ./checkpoint/rlhf_qwen2_7b \
  --logging_steps 10

几个关键参数说明:

  • vllm_num_engines 4:开 4 个 vLLM 推理引擎,做 rollout
  • actor_num_gpus_per_node 4 + critic_num_gpus_per_node 4:actor 和 critic 拆到不同 GPU 组,显存隔开
  • --use_tis:开启 TIS(Truncated Importance Sampling),桥接训推分布差异
  • ray start --head 必须先跑,框架会接管后续调度

它怎么工作(架构)

OpenRLHF 的核心是 Ray + DeepSpeed + vLLM 三件套。

训练侧:actor / critic / ref / reward 各自是一个 Ray Actor,挂载到不同 GPU。actor 和 critic 用 DeepSpeed ZeRO-3 + 流水并行做训练,ref 和 reward 一般冻结,只做前向。

推理侧:vLLM 单独跑 rollout,生成 token 喂给 reward model 打分,再回传给 critic 算 advantage。这里有个坑:训练时 actor 的分布和推理时 vLLM 的分布有细微差异,长时间训练会偏移。TIS 就是为了修正这个——通过截断 importance ratio 防止梯度爆炸。

VLM Agentic RL:在四模型基础上,把 reward model 换成支持视觉 encoder 的版本(比如 LLaVA-1.5 的 reward head),actor 也换成 VLM。OpenRLHF 是目前少数几个原生支持这条路线的开源框架,verl 也有类似支持但成熟度差一档。

下面这张关系图能看明白 actor / critic / reward 的数据流:

┌─────────────┐    rollout    ┌─────────────┐
│   Prompt    │──────────────▶│  vLLM Actor │
└─────────────┘               └──────┬──────┘
                                      │ samples
                                      ▼
                               ┌─────────────┐
                               │ Reward Model│──▶ reward scores
                               └──────┬──────┘
                                      │
                                      ▼
┌─────────────┐  advantages   ┌─────────────┐
│   Critic    │◀─────────────│   GAE calc  │
└──────┬──────┘               └─────────────┘
       │ values
       ▼
┌──────────────────────────────────────┐
│  PPO Loss (actor + critic 更新)      │
│  + TIS 修正训推分布差异              │
└──────────────────────────────────────┘

它哪里好 / 哪里不好

好的地方:

  • 算法全:PPO / DAPO / REINFORCE++ / GRPO 都支持,而且不是 demo 级别,是能跑出论文曲线那种
  • VLM 友好:文档里有 Qwen2-VL 的 Agentic RL 复现脚本,这是它和 verl / LLaMA-Factory 拉开差距的点
  • 国内社区活跃:issue 回复速度比 verl 快,中文文档完整
  • 有 Qwen / Llama 全流程的 example_scripts,省去配环境的时间

不好的地方:

  • Ray 调度对单机用户不友好。要理解 Actor / Object Store / Placement Group 这一套概念,光"为什么我的 GPU 调度不到"这种问题就能卡半天
  • vLLM 0.x 到 1.x 的升级踩坑多,API 改动大,老脚本经常要改
  • 7B 以下的小模型,性价比不如 HF trl。OpenRLHF 的开销主要在分布式协调,模型一小子就亏了
  • 文档虽然全,但深度不够,很多参数解释只有一句话,得自己读源码

横向对比:

框架 优势 劣势 适合场景
OpenRLHF 算法全、VLM 支持、Ray 扩展 Ray 学习成本、vLLM 升级坑 8+ GPU 集群、VLM Agentic
verl (字节) 工程化激进、性能 benchmark 扎实 文档英文为主、社区小 超大规模 RLHF
LLaMA-Factory SFT / DPO 易用、单机友好 RL 部分弱 SFT 为主、轻度 RL
HF trl 单卡能跑、上手快 多卡要自己拼 学习 / 论文复现起步

我试了下

8 卡 H100(80GB),跑了 OpenRLHF 的 DAPO 示例(Qwen2-7B + math 数据集)。数字如下:

  • 启动到第一次 step:约 12 分钟,主要是 vLLM 引擎初始化和 Ray 调度
  • 显存占用:actor 组 4 卡平均 62GB,critic 组 4 卡平均 48GB(都是 ZeRO-3)
  • 100 step 训练时间:约 1.5 小时,reward 均值从 0.12 爬到 0.43

同期在同硬件上跑了 HF trl 的 PPO(Qwen2-7B + same data)。trl 只能把 ref 卸载到 CPU,actor + critic + reward 全挤在 8 卡上,显存一度 OOM 两次,最终只能开 gradient checkpointing + LoRA,效果打折。

OpenRLHF 的优势在多卡协调,但小规模训练上它的额外开销(ray 调度 + vLLM 通信)能吃掉 15-20% 的吞吐。规模越大,这个开销占比越低。

谁该用

适用:

  • 做 RLHF 论文复现的实验室,DAPO / REINFORCE++ 这些新算法 OpenRLHF 支持最快
  • 需要 VLM Agentic RL 的团队,这是 OpenRLHF 相对其他框架的差异化优势
  • 有 8+ GPU 集群的工程团队,Ray 的扩展性在这里才发挥出来

不适用:

  • 单卡玩家,直接 HF trl,省事
  • 只想跑 SFT,这是 LLaMA-Factory 的活,别拿 RLHF 框架硬上
  • 99.9% 稳定性的在线服务,这些框架都还在快速迭代,生产环境慎用

编辑思考

OpenRLHF 接近 1w Stars 这件事,本身说明 RLHF 不再是 OpenAI / Anthropic 的黑魔法——国产框架已经把 PPO / DAPO / GRPO 这些算法变成可复现的工程资产,论文里随便提一个 SFT+RLHF 的实验,大家都能自己跑出来验证。

我的判断:2026 年的 RLHF 战场不在算法创新(GRPO 之后大家基本站在同一起跑线),而在两件事——一是 VLM / Agentic RL 的端到端支持,二是和推理引擎(vLLM / SGLang)的深度耦合。OpenRLHF 在前者有先发优势,Qwen2-VL 的 Agentic RL 脚本是它目前最硬的资产;但 verl 这类字节系项目在工程化上更激进,benchmark 做得更扎实。

这次和过去不同的地方在于,RLHF 框架的竞争已经从"能不能跑"转移到"能不能在 VLM + Agent 场景下端到端跑通"。以前大家关心 loss 曲线,现在关心 agent 在多轮交互里的 success rate——这个转变对框架的多模态支持和长上下文处理能力提出了完全不同的要求。

不确定的地方:Ray 这套调度在超大规模(100+ GPU)下是否真的比 native NCCL + 自研 scheduler 更优,这一点仓库里没有公开 benchmark。字节的 verl 内部据说走的是自研路线,OpenRLHF 这边押注 Ray,未来如果出现 200+ GPU 的训练任务,谁更稳还不好说。

参考:github.com/OpenRLHF/OpenRLHF

来源: https://github.com/OpenRLHF/OpenRLHF