GitHub Star 89.5k 이상, 기여자 2000명 이상, UC Berkeley Sky Computing Lab 출신. 지금의 vLLM 저력이고, 오늘 분해할 대상이다.
어떤 문제를 푸는가
LLM 추론에서 가장 비싼 건 두 가지다.
첫째는 KV Cache의显存 점유. 자기회귀 디코딩은 매 token을 생성할 때마다 이전 모든 token의 K/V를 저장한다. 7B 모델, batch=8, 시퀀스 길이 4k에서 KV Cache가 10G 이상을 잡아먹는다. 각 시퀀스 길이가 제각각이라 전통적인 방식은 최대 길이로 미리 할당(낭비)하거나 필요할 때 동적 확장(파편화) 둘 중 하나를 쓴다.
둘째는 직렬 batching으로 GPU가 놀게 되는 문제. batch 안에 긴 시퀀스 하나라도 decode 중이면 짧은 것들도 전부 기다려야 한다. GPU 활용률이 연중 30% 아래를 맴돈다.
vLLM의 답은 PagedAttention + Continuous Batching이다. 전자는 KV Cache를 고정 크기 block(기본 16 token/block)으로 잘라 page table로 관리하고, 후자는 batch에서 요청이 끝나는 즉시 다음 요청을 채워 넣는다.
사용법
설치 한 줄, 서버 실행 한 줄, API는 OpenAI 호환이다.
# 설치: uv pip install vllm (CUDA 12.x 필요, 단일 카드 24G+显存起步)
from vllm import LLM, SamplingParams
llm = LLM(
model="Qwen/Qwen2.5-7B-Instruct",
gpu_memory_utilization=0.9,
max_model_len=8192,
enforce_eager=False, # CUDA graph 활성화, 약 20% 가속
)
sp = SamplingParams(temperature=0.7, max_tokens=256)
prompts = ["用一句话解释 PagedAttention"] * 8
outputs = llm.generate(prompts, sp)
for o in outputs:
print(f"prompt: {o.prompt[:30]}... → {o.outputs[0].text[:80]}")
# OpenAI 호환 서버 실행 (다른 창에서):
# vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000
# 그리고: curl http://localhost:8000/v1/chat/completions -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"hi"}]}'
H100 80G 한 장에서 Qwen2.5-7B 8개 동시 실행, enforce_eager=False가 True 대비 약 18% 빨랐고 공식 수치와 일치한다.
동작 원리 (구조)
generate() 한 번 호출에서 아래로 내려가 본다.
사용자 요청
│
▼
Scheduler (v1은 Python 구현) ── 이번 라운드에 어떤 요청이 prefill이고 어떤 게 decode인지 결정
│
▼
Block Manager ── 각 시퀀스에 block 할당 (16 token/block), page table 유지
│
▼
PagedAttention Kernel ── CUDA 쪽에서 page table 인덱스로 KV 연결
│
▼
Continuous Batcher ── 한 시퀀스 decode가 끝나면 즉시 batch에 다음 요청 채움
│
▼
token 출력 + page table 갱신
몇 가지 핵심 포인트.
block size = 16은 근거 없이 정한 숫자가 아니다. 너무 작으면 page table이 커지고 파편화 심하고, 너무 크면 내부 낭비가 늘어난다 (17 token 시퀀스가 2개 block 차지). 16은 SOSP 논문에서 여러 workload을 trace한 뒤 잡은 절충점이다.
prefix cache는 자주 놓치는 비용 절감 무기다. RAG 시나리오에서 여러 query가 동일한 system prompt + 검색 문서를 공유할 때, prefix cache는 이 block들의 KV를 그대로 재사용한다. 8k context에서 4k prefix 공유 시나리오实测 기준, 중복 token 30% 이상 절약, TTFT가 절반으로 줄어든다.
v1 engine은 Scheduler를 전부 Python으로 다시 짰다 (기존은 C++). 스케줄링 전략 수정 시 재컴파일이 필요 없어 반복 속도가 5배 이상 빨라졌다. 대가는 GIL 아래의 미세한 오버헤드지만, vLLM 팀은 zero-overhead 스케줄러로 우회했다.
장점과 단점
가로로 비교해 보자.
| 기준 | vLLM | TGI | TensorRT-LLM | SGLang |
|---|---|---|---|---|
| 처리량 (동일 하드웨어) | 기준 1x | 0.5-0.7x | 0.8-1.1x | 0.9-1.2x (radix attention 강함) |
| 배포 복잡도 | 중 | 낮음 | 높음 (engine 컴파일 필요) | 중 |
| 신모델 지원 지연 | 1-2주 | 2-3주 | 3-4주 | 1-2주 |
| 소형 모델 <7B 우위 | 보통 | 근접 | 보통 | 보통 |
처리량 1위는 community 최적화 + chunked prefill + prefix cache 3종 세트 덕이다. 순수 decode 시나리오에서는 차이가 크지 않고, prefill 비중이 높은 시나리오에서 vLLM 우위가 두드러진다.
다만 vLLM의 아픈 지점이 실재한다. Python + CUDA 혼합 스택이라 kernel 디버깅 시 stack trace를 5층 정도 파고들어야 하는 일이 잦고, 새 v1 engine이 v0 API와 100% 호환되지 않아 기존 코드 마이그레이션에 약간의 수정이 필요하며, 일부 MoE 구조의 expert parallel 경로에서 race condition이 남아 있다 (issue 영역에 제보 있음).
실측해 봤다
H100 80G 단일 카드, Qwen2.5-7B-Instruct, input 1k / output 256, 32 동시 실행, vllm bench serve 측정.
# 기본 설정
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
--dataset random --random-input-len 1024 --random-output-len 256 \
--max-concurrency 32 --num-prompts 256
# chunked prefill + prefix cache 활성화
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
--dataset random --random-input-len 1024 --random-output-len 256 \
--max-concurrency 32 --num-prompts 256 \
--enable-chunked-prefill --enable-prefix-caching
결과:
- 기본: output throughput 1800 tok/s, TTFT p50 180ms, p99 520ms
- 두 옵션 활성화: output throughput 4200 tok/s (+133%), TTFT p50 95ms, p99 380ms
GPU 활용률이 47%에서 73%로 끌어올라졌다. 오버헤드는 거의 전부 KV Cache 복사와 padding에 있다. chunked prefill이 긴 입력을 잘라 decode 요청이 중간에 끼어들게 하고, prefix cache가 히트하면 prefill 단계를 곧장 건너뛴다.
누가 써야 하는가
적합:
- 자체 OpenAI 대체 서비스 구축 (API 완전 호환 + Anthropic Messages API도 지원)
- RAG / Agent 백엔드 (prefix cache + chunked prefill이 핵심 통증에 직격)
- 고동시 소규모 팀 (vLLM은 한 명이 운영 가능)
- 다중 하드웨어 환경 (NVIDIA / AMD / Intel GPU + TPU / Gaudi / Ascend / Apple Silicon 모두 동작)
부적합:
- 단일 카드에서 1B 미만 모델 (오버헤드가 이득보다 큼)
- 순수 오프라인 batch 작업 (vLLM은 online-first, batch는 HF transformers가 더 편함)
- 콜드스타트 지연 100ms 미만이 핵심인 소규모 트래픽 (모델 로딩 30초+)
배포 체크리스트:
- 양자화는 시나리오별 선택: 지연 민감은 FP8,显存 빠듯하면 INT4, 서버 범용은 GPTQ/AWQ
enforce_eager=False필수, 20% 가속--max-num-seqs는 동시 피크의 +20%까지 올려 스케줄러 잦은 evict 방지- KV Cache 활용률 모니터링, 장기 85% 이상이면 카드 추가
- 다중 노드는 Tensor Parallel + Pipeline Parallel, 256 카드 이상 production 검증 완료
- Disaggregated Prefill/Decode는 대형 킬러. prefill과 decode를 다른 노드에서 돌리고, 긴 prompt 시나리오에서 처리량 추가 2배, 단 RDMA 네트워크 필요
직관과 반대되는 결론 하나. vLLM의 현재 병목은 GPU 연산력이 아니라 스케줄러다. chunked prefill, prefix cache, disaggregated 같은 feature가 전부 스케줄링 계층의 최적화이고, 하드웨어가 오히려 주무대가 아니다. vLLM을 선택한다는 건 inference engine을 고르는 게 아니라 스케줄링 철학을 고르는 일이다.
전체 문서와 최신 기능은 GitHub README에서, 양자화 포맷 지원 목록(FP8 / NVFP4 / MXFP4 / INT8 / INT4 / GPTQ / AWQ / GGUF)도 거기서 확인 가능하다.