프레임워크

OpenRLHF 완전 해부: 단일 GPU PPO부터 Ray 기반 분산 Agentic RL까지

GitHub Star 1만에 가까운国产 RLHF 프레임워크 OpenRLHF는 Ray와 vLLM 위에 PPO·DAPO·GRPO·VLM Agentic RL을 모두 올린 프로젝트다. 내부 구조, 실측 성능, 도입 판단 기준을 한 번에 정리한다.

글자 크기

OpenRLHF 완전 해부: 단일 GPU PPO부터 Ray 기반 분산 Agentic RL까지

OpenRLHF는 최근 2년 동안国产 RLHF 학습 영역에서 빼놓을 수 없는 존재가 됐다. 저장소 github.com/OpenRLHF/OpenRLHF는 Star 1만 개에 거의 도달했고, 포지셔닝이 매우 분명하다. Ray 위에서 PPO / DAPO / REINFORCE++ / GRPO 같은 알고리즘들을 엔지니어링 수준의 프레임워크로 구현하고, VLM의 Agentic RL까지 함께 지원하는 것이 목표다.

이 프레임워크가 해결하는 핵심 문제는 "PPO를 돌릴 수 있는가"가 아니라 "GPU 메모리를 어떻게 쪼갤 것인가"다.

해결하려는 문제

PPO는 일반적인 SFT와 차원이 다르다. 완전한 RLHF 학습에는 네 개의 모델이 동시에 메모리에 올라가야 한다.

  • actor: 학습 대상이 되는 정책 모델
  • critic: advantage를 추정하는 가치 네트워크
  • ref: KL divergence를 계산해 정책이 너무 멀리 벗어나지 않도록 잡아주는 참조 모델
  • reward: 생성된 응답에 점수를 매기는 보상 모델

Qwen2-7B만 해도 네 모델이 fp16 기준 4×14GB = 56GB다. 여기에 optimizer 상태와 activation까지 더하면 가뿐히 100GB를 넘는다. 초기 오픈소스 솔루션은 크게 두 갈래였다. HF trl은 단일 GPU에 모두 욱여넣는 방식이고, TRLX / DeepSpeed-Chat은 분산 스케줄링 로직을 자체 코드에 박아 넣어 수정 비용이 어마어마했다.

OpenRLHF는 네 모델을 각각 다른 Ray Actor에 매달아 메모리를 자연스럽게 분리했다. 추론 측은 vLLM, 학습 측은 DeepSpeed ZeRO-3으로 돌린다. 논문 재현부터 실제 업무 학습까지 커버할 수 있는 구성이다.

사용 방법

최소 실행 예제. 8장 H100에서 Qwen2-7B를 PPO로 미세조정한다.

# OpenRLHF 학습 실행 예제 (ray + vLLM 기반)
# 8장 H100, Qwen2-7B-Instruct 미세조정

ray start --head --num-gpus 8

python -m openrlhf.cli.train_ppo \
  --pretrain OpenRLHF/Qwen2-7B-SFT \
  --reward_pretrain OpenRLHF/Qwen2-7B-Reward \
  --vllm_num_engines 4 \
  --vllm_gpu_memory_utilization 0.5 \
  --actor_num_nodes 1 \
  --actor_num_gpus_per_node 4 \
  --critic_num_nodes 1 \
  --critic_num_gpus_per_node 4 \
  --deploy_vllm \
  --use_tis \
  --save_path ./checkpoint/rlhf_qwen2_7b \
  --logging_steps 10

주요 파라미터 설명.

  • vllm_num_engines 4: rollout용 vLLM 추론 엔진을 4개 띄운다
  • actor_num_gpus_per_node 4 + critic_num_gpus_per_node 4: actor와 critic을 다른 GPU 그룹으로 분리해 메모리를 격리한다
  • --use_tis: TIS(Truncated Importance Sampling)를 활성화해 학습 분포와 추론 분포 차이를 보정한다
  • ray start --head를 먼저 실행해야 한다. 이후 스케줄링은 프레임워크가 담당한다

동작 원리 (아키텍처)

OpenRLHF의 핵심은 Ray + DeepSpeed + vLLM의 삼종세트다.

학습 측: actor / critic / ref / reward 각각이 Ray Actor이고 서로 다른 GPU에 올라간다. actor와 critic은 DeepSpeed ZeRO-3 + pipeline parallelism로 학습하고, ref와 reward는 일반적으로冻结 상태로 forward만 수행한다.

추론 측: vLLM이 별도로 rollout을 돌리고, 생성된 token을 reward model에 넣어 점수를 매긴 뒤 critic으로 보내 advantage를 계산한다. 여기서 함정이 하나 있다. 학습 시 actor의 분포와 추론 시 vLLM의 분포는 미세하게 다르며, 장시간 학습하면 분포가 점점 어긋난다. TIS는 importance ratio를 절단(truncate)해 이런 발산을 막고자 도입됐다.

VLM Agentic RL: 네 모델 구도에 vision encoder를 지원하는 reward model(LLaVA-1.5의 reward head 등)을 끼우고, actor도 VLM으로 교체한다. OpenRLHF는 이 경로를 네이티브로 지원하는 몇 안 되는 오픈소스 프레임워크다. verl도 유사한 기능을 제공하지만 완성도는 한 단계 아래다.

아래 다이어그램은 actor / critic / reward 사이의 데이터 흐름을 보여준다.

┌─────────────┐    rollout    ┌─────────────┐
│   Prompt    │──────────────▶│  vLLM Actor │
└─────────────┘               └──────┬──────┘
                                      │ samples
                                      ▼
                               ┌─────────────┐
                               │ Reward Model│──▶ reward scores
                               └──────┬──────┘
                                      │
                                      ▼
┌─────────────┐  advantages   ┌─────────────┐
│   Critic    │◀─────────────│   GAE calc  │
└──────┬──────┘               └─────────────┘
       │ values
       ▼
┌──────────────────────────────────────┐
│  PPO Loss (actor + critic 업데이트)  │
│  + TIS로 학습·추론 분포 차이 보정    │
└──────────────────────────────────────┘

장점과 단점

좋은 점:

  • 알고리즘 커버리지: PPO / DAPO / REINFORCE++ / GRPO를 모두 지원한다. 데모 수준이 아니라 논문 그래프를 그대로 재현할 수 있는 수준이다
  • VLM 친화적: 문서에 Qwen2-VL의 Agentic RL 재현 스크립트가 포함돼 있어 verl / LLaMA-Factory와 차이를 만드는 요소다
  • 국내 커뮤니티 활성화: issue 응답 속도가 verl보다 빠르고, 중국어 문서가 잘 정비돼 있다
  • example_scripts 충실: Qwen / Llama 풀 파이프라인 예제가 갖춰져 환경 구성 시간을 크게 줄여준다

아쉬운 점:

  • Ray 학습 곡선: Ray 스케줄링은 단일 머신 사용자에게 친화적이지 않다. Actor / Object Store / Placement Group 개념을 이해해야 하고, "왜 내 GPU가 안 잡히지?" 같은 문제에 반나절을 쓸 수 있다
  • vLLM 업그레이드 함정: vLLM 0.x에서 1.x로 넘어갈 때 API 변경이 커서 기존 스크립트를 자주 수정해야 한다
  • 소규모 모델에서 손해: 7B 이하 모델은 HF trl 대비 가성비가 떨어진다. OpenRLHF의 오버헤드는 주로 분산 조정에 있고, 모델이 작을수록 상대적으로 손해다
  • 문서 깊이 부족: 문서 양은 많지만 깊이가 얕다. 많은 파라미터 설명이 한 줄짜리라 결국 소스 코드를 직접 읽어야 한다

프레임워크 비교:

  • OpenRLHF: 알고리즘 폭넓음, VLM 지원, Ray 확장성 / Ray 학습 비용, vLLM 업그레이드 부담 / 8장 이상 GPU 클러스터, VLM Agentic
  • verl (바이트댄스): 공격적 엔지니어링, 탄탄한 성능 benchmark / 영문 중심 문서, 작은 커뮤니티 / 초대규모 RLHF
  • LLaMA-Factory: SFT / DPO 사용성 우수, 단일 머신 친화적 / RL 기능 약함 / SFT 중심, 가벼운 RL
  • HF trl: 단일 GPU에서 동작, 진입 장벽 낮음 / 멀티 GPU는 직접 조합 필요 / 학습 / 논문 재현 입문

직접 돌려봤다

8장 H100(80GB)에서 OpenRLHF의 DAPO 예제(Qwen2-7B + 수학 데이터셋)를 실행했다. 결과는 다음과 같다.

  • 시작부터 첫 step까지: 약 12분. 대부분 vLLM 엔진 초기화와 Ray 스케줄링에 소요
  • GPU 메모리 사용량: actor 그룹 4장 평균 62GB, critic 그룹 4장 평균 48GB (둘 다 ZeRO-3)
  • 100 step 학습 시간: 약 1.5시간, reward 평균이 0.12에서 0.43까지 상승

동일 하드웨어에서 HF trl의 PPO(Qwen2-7B + 같은 데이터)도 함께 돌렸다. trl은 ref 모델을 CPU로만 내릴 수 있어 actor + critic + reward를 8장에 욱여넣어야 했고, 결국 OOM이 두 번 났다. gradient checkpointing과 LoRA를 켜서 겨우 돌렸지만 성능은 손상됐다.

OpenRLHF의 강점은 멀티 GPU 조정에 있다. 다만 소규모 학습에서는 Ray 스케줄링과 vLLM 통신 오버헤드가 throughput의 15~20%를 잡아먹는다. 규모가 커질수록 이 오버헤드 비중은 줄어든다.

도입 가이드

쓰면 좋은 경우:

  • RLHF 논문 재현이 필요한 실험실. DAPO / REINFORCE++ 같은 신규 알고리즘을 OpenRLHF가 가장 빨리 지원한다
  • VLM Agentic RL이 필요한 팀. 다른 프레임워크 대비 OpenRLHF만의 차별화된 강점이다
  • 8장 이상 GPU 클러스터를 가진 엔지니어링 팀. Ray의 확장성이 여기서야 비로소 빛을 발한다

쓰지 않는 게 좋은 경우:

  • 단일 GPU 환경. 그냥 HF trl이 편하다
  • SFT만 돌릴 경우. LLaMA-Factory 영역이지 RLHF 프레임워크를 끌어다 쓸 일이 아니다
  • 99.9% 안정성이 필요한 온라인 서비스. 이런 프레임워크들은 아직 빠르게迭代 중이라 프로덕션 투입은 신중해야 한다

편집자 관점

OpenRLHF가 Star 1만에 거의 도달했다는 사실 자체가 RLHF가 더 이상 OpenAI / Anthropic의 흑마법이 아니라는 증거다. 국산 프레임워크가 PPO / DAPO / GRPO를 재현 가능한 엔지니어링 자산으로 만들어놨고, 논문에서 SFT+RLHF 실험이 나오면 누구나 직접 돌려서 검증할 수 있게 됐다.

2026년 RLHF 전쟁터는 알고리즘 혁신이 아니다. GRPO 이후로 거의 같은 출발선에 섰기 때문이다. 진짜 승부는 두 가지다. 하나는 VLM / Agentic RL의 end-to-end 지원, 다른 하나는 추론 엔진(vLLM / SGLang)과의 깊은 결합이다. OpenRLHF는 전자에서 선발 주자优势를 가지고 있고, Qwen2-VL의 Agentic RL 스크립트가 현재 가장 단단한 자산이다. 반면 verl 같은 바이트 계열 프로젝트는 엔지니어링 측면에서 더 공격적이고 benchmark도 탄탄하다.

과거와 달라진 지점은 프레임워크 경쟁이 "돌릴 수 있는가"에서 "VLM + Agent 시나리오에서 end-to-end로 돌아가는가"로 이동했다는 점이다. 예전에는 loss curve가 관심사였다면, 지금은 multi-turn interaction에서 agent의 success rate가 관심사다. 이 전환은 멀티모달 지원과 긴 컨텍스트 처리 능력에 완전히 다른 차원의 요구를 들이댄다.

아직 확신이 없는 부분. Ray 스케줄링이 초대규모(100장 이상 GPU)에서 native NCCL + 자체 scheduler보다 정말 우월한지, 저장소에 공개 benchmark가 없다. verl 내부는 자체 개발 경로로 간다는 소문이 있고, OpenRLHF는 Ray에 베팅했다. 향후 200장 이상 GPU 학습 작업이 등장할 때 어느 쪽이 더 안정적인지는 두고 봐야 한다.

참고: github.com/OpenRLHF/OpenRLHF

출처: https://github.com/OpenRLHF/OpenRLHF