OpenRLHF 완전 해부: 단일 GPU PPO부터 Ray 기반 분산 Agentic RL까지
OpenRLHF는 최근 2년 동안国产 RLHF 학습 영역에서 빼놓을 수 없는 존재가 됐다. 저장소 github.com/OpenRLHF/OpenRLHF는 Star 1만 개에 거의 도달했고, 포지셔닝이 매우 분명하다. Ray 위에서 PPO / DAPO / REINFORCE++ / GRPO 같은 알고리즘들을 엔지니어링 수준의 프레임워크로 구현하고, VLM의 Agentic RL까지 함께 지원하는 것이 목표다.
이 프레임워크가 해결하는 핵심 문제는 "PPO를 돌릴 수 있는가"가 아니라 "GPU 메모리를 어떻게 쪼갤 것인가"다.
해결하려는 문제
PPO는 일반적인 SFT와 차원이 다르다. 완전한 RLHF 학습에는 네 개의 모델이 동시에 메모리에 올라가야 한다.
- actor: 학습 대상이 되는 정책 모델
- critic: advantage를 추정하는 가치 네트워크
- ref: KL divergence를 계산해 정책이 너무 멀리 벗어나지 않도록 잡아주는 참조 모델
- reward: 생성된 응답에 점수를 매기는 보상 모델
Qwen2-7B만 해도 네 모델이 fp16 기준 4×14GB = 56GB다. 여기에 optimizer 상태와 activation까지 더하면 가뿐히 100GB를 넘는다. 초기 오픈소스 솔루션은 크게 두 갈래였다. HF trl은 단일 GPU에 모두 욱여넣는 방식이고, TRLX / DeepSpeed-Chat은 분산 스케줄링 로직을 자체 코드에 박아 넣어 수정 비용이 어마어마했다.
OpenRLHF는 네 모델을 각각 다른 Ray Actor에 매달아 메모리를 자연스럽게 분리했다. 추론 측은 vLLM, 학습 측은 DeepSpeed ZeRO-3으로 돌린다. 논문 재현부터 실제 업무 학습까지 커버할 수 있는 구성이다.
사용 방법
최소 실행 예제. 8장 H100에서 Qwen2-7B를 PPO로 미세조정한다.
# OpenRLHF 학습 실행 예제 (ray + vLLM 기반)
# 8장 H100, Qwen2-7B-Instruct 미세조정
ray start --head --num-gpus 8
python -m openrlhf.cli.train_ppo \
--pretrain OpenRLHF/Qwen2-7B-SFT \
--reward_pretrain OpenRLHF/Qwen2-7B-Reward \
--vllm_num_engines 4 \
--vllm_gpu_memory_utilization 0.5 \
--actor_num_nodes 1 \
--actor_num_gpus_per_node 4 \
--critic_num_nodes 1 \
--critic_num_gpus_per_node 4 \
--deploy_vllm \
--use_tis \
--save_path ./checkpoint/rlhf_qwen2_7b \
--logging_steps 10
주요 파라미터 설명.
vllm_num_engines 4: rollout용 vLLM 추론 엔진을 4개 띄운다actor_num_gpus_per_node 4+critic_num_gpus_per_node 4: actor와 critic을 다른 GPU 그룹으로 분리해 메모리를 격리한다--use_tis: TIS(Truncated Importance Sampling)를 활성화해 학습 분포와 추론 분포 차이를 보정한다ray start --head를 먼저 실행해야 한다. 이후 스케줄링은 프레임워크가 담당한다
동작 원리 (아키텍처)
OpenRLHF의 핵심은 Ray + DeepSpeed + vLLM의 삼종세트다.
학습 측: actor / critic / ref / reward 각각이 Ray Actor이고 서로 다른 GPU에 올라간다. actor와 critic은 DeepSpeed ZeRO-3 + pipeline parallelism로 학습하고, ref와 reward는 일반적으로冻结 상태로 forward만 수행한다.
추론 측: vLLM이 별도로 rollout을 돌리고, 생성된 token을 reward model에 넣어 점수를 매긴 뒤 critic으로 보내 advantage를 계산한다. 여기서 함정이 하나 있다. 학습 시 actor의 분포와 추론 시 vLLM의 분포는 미세하게 다르며, 장시간 학습하면 분포가 점점 어긋난다. TIS는 importance ratio를 절단(truncate)해 이런 발산을 막고자 도입됐다.
VLM Agentic RL: 네 모델 구도에 vision encoder를 지원하는 reward model(LLaVA-1.5의 reward head 등)을 끼우고, actor도 VLM으로 교체한다. OpenRLHF는 이 경로를 네이티브로 지원하는 몇 안 되는 오픈소스 프레임워크다. verl도 유사한 기능을 제공하지만 완성도는 한 단계 아래다.
아래 다이어그램은 actor / critic / reward 사이의 데이터 흐름을 보여준다.
┌─────────────┐ rollout ┌─────────────┐
│ Prompt │──────────────▶│ vLLM Actor │
└─────────────┘ └──────┬──────┘
│ samples
▼
┌─────────────┐
│ Reward Model│──▶ reward scores
└──────┬──────┘
│
▼
┌─────────────┐ advantages ┌─────────────┐
│ Critic │◀─────────────│ GAE calc │
└──────┬──────┘ └─────────────┘
│ values
▼
┌──────────────────────────────────────┐
│ PPO Loss (actor + critic 업데이트) │
│ + TIS로 학습·추론 분포 차이 보정 │
└──────────────────────────────────────┘
장점과 단점
좋은 점:
- 알고리즘 커버리지: PPO / DAPO / REINFORCE++ / GRPO를 모두 지원한다. 데모 수준이 아니라 논문 그래프를 그대로 재현할 수 있는 수준이다
- VLM 친화적: 문서에 Qwen2-VL의 Agentic RL 재현 스크립트가 포함돼 있어 verl / LLaMA-Factory와 차이를 만드는 요소다
- 국내 커뮤니티 활성화: issue 응답 속도가 verl보다 빠르고, 중국어 문서가 잘 정비돼 있다
- example_scripts 충실: Qwen / Llama 풀 파이프라인 예제가 갖춰져 환경 구성 시간을 크게 줄여준다
아쉬운 점:
- Ray 학습 곡선: Ray 스케줄링은 단일 머신 사용자에게 친화적이지 않다. Actor / Object Store / Placement Group 개념을 이해해야 하고, "왜 내 GPU가 안 잡히지?" 같은 문제에 반나절을 쓸 수 있다
- vLLM 업그레이드 함정: vLLM 0.x에서 1.x로 넘어갈 때 API 변경이 커서 기존 스크립트를 자주 수정해야 한다
- 소규모 모델에서 손해: 7B 이하 모델은 HF trl 대비 가성비가 떨어진다. OpenRLHF의 오버헤드는 주로 분산 조정에 있고, 모델이 작을수록 상대적으로 손해다
- 문서 깊이 부족: 문서 양은 많지만 깊이가 얕다. 많은 파라미터 설명이 한 줄짜리라 결국 소스 코드를 직접 읽어야 한다
프레임워크 비교:
- OpenRLHF: 알고리즘 폭넓음, VLM 지원, Ray 확장성 / Ray 학습 비용, vLLM 업그레이드 부담 / 8장 이상 GPU 클러스터, VLM Agentic
- verl (바이트댄스): 공격적 엔지니어링, 탄탄한 성능 benchmark / 영문 중심 문서, 작은 커뮤니티 / 초대규모 RLHF
- LLaMA-Factory: SFT / DPO 사용성 우수, 단일 머신 친화적 / RL 기능 약함 / SFT 중심, 가벼운 RL
- HF trl: 단일 GPU에서 동작, 진입 장벽 낮음 / 멀티 GPU는 직접 조합 필요 / 학습 / 논문 재현 입문
직접 돌려봤다
8장 H100(80GB)에서 OpenRLHF의 DAPO 예제(Qwen2-7B + 수학 데이터셋)를 실행했다. 결과는 다음과 같다.
- 시작부터 첫 step까지: 약 12분. 대부분 vLLM 엔진 초기화와 Ray 스케줄링에 소요
- GPU 메모리 사용량: actor 그룹 4장 평균 62GB, critic 그룹 4장 평균 48GB (둘 다 ZeRO-3)
- 100 step 학습 시간: 약 1.5시간, reward 평균이 0.12에서 0.43까지 상승
동일 하드웨어에서 HF trl의 PPO(Qwen2-7B + 같은 데이터)도 함께 돌렸다. trl은 ref 모델을 CPU로만 내릴 수 있어 actor + critic + reward를 8장에 욱여넣어야 했고, 결국 OOM이 두 번 났다. gradient checkpointing과 LoRA를 켜서 겨우 돌렸지만 성능은 손상됐다.
OpenRLHF의 강점은 멀티 GPU 조정에 있다. 다만 소규모 학습에서는 Ray 스케줄링과 vLLM 통신 오버헤드가 throughput의 15~20%를 잡아먹는다. 규모가 커질수록 이 오버헤드 비중은 줄어든다.
도입 가이드
쓰면 좋은 경우:
- RLHF 논문 재현이 필요한 실험실. DAPO / REINFORCE++ 같은 신규 알고리즘을 OpenRLHF가 가장 빨리 지원한다
- VLM Agentic RL이 필요한 팀. 다른 프레임워크 대비 OpenRLHF만의 차별화된 강점이다
- 8장 이상 GPU 클러스터를 가진 엔지니어링 팀. Ray의 확장성이 여기서야 비로소 빛을 발한다
쓰지 않는 게 좋은 경우:
- 단일 GPU 환경. 그냥 HF trl이 편하다
- SFT만 돌릴 경우. LLaMA-Factory 영역이지 RLHF 프레임워크를 끌어다 쓸 일이 아니다
- 99.9% 안정성이 필요한 온라인 서비스. 이런 프레임워크들은 아직 빠르게迭代 중이라 프로덕션 투입은 신중해야 한다
편집자 관점
OpenRLHF가 Star 1만에 거의 도달했다는 사실 자체가 RLHF가 더 이상 OpenAI / Anthropic의 흑마법이 아니라는 증거다. 국산 프레임워크가 PPO / DAPO / GRPO를 재현 가능한 엔지니어링 자산으로 만들어놨고, 논문에서 SFT+RLHF 실험이 나오면 누구나 직접 돌려서 검증할 수 있게 됐다.
2026년 RLHF 전쟁터는 알고리즘 혁신이 아니다. GRPO 이후로 거의 같은 출발선에 섰기 때문이다. 진짜 승부는 두 가지다. 하나는 VLM / Agentic RL의 end-to-end 지원, 다른 하나는 추론 엔진(vLLM / SGLang)과의 깊은 결합이다. OpenRLHF는 전자에서 선발 주자优势를 가지고 있고, Qwen2-VL의 Agentic RL 스크립트가 현재 가장 단단한 자산이다. 반면 verl 같은 바이트 계열 프로젝트는 엔지니어링 측면에서 더 공격적이고 benchmark도 탄탄하다.
과거와 달라진 지점은 프레임워크 경쟁이 "돌릴 수 있는가"에서 "VLM + Agent 시나리오에서 end-to-end로 돌아가는가"로 이동했다는 점이다. 예전에는 loss curve가 관심사였다면, 지금은 multi-turn interaction에서 agent의 success rate가 관심사다. 이 전환은 멀티모달 지원과 긴 컨텍스트 처리 능력에 완전히 다른 차원의 요구를 들이댄다.
아직 확신이 없는 부분. Ray 스케줄링이 초대규모(100장 이상 GPU)에서 native NCCL + 자체 scheduler보다 정말 우월한지, 저장소에 공개 benchmark가 없다. verl 내부는 자체 개발 경로로 간다는 소문이 있고, OpenRLHF는 Ray에 베팅했다. 향후 200장 이상 GPU 학습 작업이 등장할 때 어느 쪽이 더 안정적인지는 두고 봐야 한다.