框架

vLLM 完整解析:從 PagedAttention 到萬卡級推論引擎

解析 GitHub 上 89.5k 星、源自 UC Berkeley 的推論框架 vLLM,拆解 PagedAttention 與 Continuous Batching 的運作機制,並實測在 H100 上吞吐提升 133%。

字級

GitHub 上 89.5k+ Star、2000+ 位貢獻者,源自 UC Berkeley Sky Computing Lab——這是 vLLM 目前的規模,也是本文要拆解的對象。

它解決了什麼問題

LLM 推論成本最高的有兩件事。

第一是 KV Cache 占顯存。自迴歸解碼每生成一個 token,都要為前面所有 token 各存一份 K/V。以 7B 模型、batch=8、序列長度 4k 計算,KV Cache 直接吃掉 10GB 以上。由於每條序列長度不同,傳統做法不是按最大長度預配置(造成浪費),就是按需動態擴充(產生碎片)。

第二是連續 batching 難以發揮 GPU 效能。一個 batch 裡只要有一條長序列還在 decode,其他短的都得等。GPU 使用率長年低於 30%。

vLLM 的解法就是 PagedAttention + Continuous Batching。前者把 KV Cache 切成固定大小的 block(預設 16 token/block),用分頁表管理;後者讓 batch 裡的請求跑完一條就立刻補一條新的進來。

怎麼使用

安裝一行、起服務一行,呼叫 API 採用 OpenAI 相容格式。

# 安裝:uv pip install vllm(需要 CUDA 12.x,單卡 24G+ 顯存起步)
from vllm import LLM, SamplingParams

llm = LLM(
    model="Qwen/Qwen2.5-7B-Instruct",
    gpu_memory_utilization=0.9,
    max_model_len=8192,
    enforce_eager=False,  # 啟用 CUDA graph,提速約 20%
)

sp = SamplingParams(temperature=0.7, max_tokens=256)
prompts = ["用一句話解釋 PagedAttention"] * 8

outputs = llm.generate(prompts, sp)
for o in outputs:
    print(f"prompt: {o.prompt[:30]}... → {o.outputs[0].text[:80]}")

# 起 OpenAI 相容服務(另一個視窗):
# vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000
# 然後:curl http://localhost:8000/v1/chat/completions -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"hi"}]}'

在 H100 80G 上實測這段程式,Qwen2.5-7B 8 條並發,enforce_eager=False 比起 True 快約 18%,與官方說法一致。

它如何運作(架構)

從一次 generate() 呼叫往下追蹤。

使用者請求
   │
   ▼
Scheduler(v1 版本為 Python 實作)─── 決定這一輪哪些請求跑 prefill、哪些跑 decode
   │
   ▼
Block Manager ── 為每條序列配置 block(16 token/block),維護分頁表
   │
   ▼
PagedAttention Kernel ── CUDA 端依分頁表索引拼接 KV
   │
   ▼
Continuous Batcher ── 某條序列 decode 完一個 token,立刻補下一條請求進 batch
   │
   ▼
輸出 token + 更新分頁表

幾個關鍵設計值得說明。

block size = 16 並非憑感覺選的。太小會導致分頁表膨脹、過度碎片化;太大則內部浪費嚴重(一條 17 token 的序列要占 2 個 block)。16 是 SOSP 論文中 trace 多種 workload 後取得的平衡點。

prefix cache 是常被忽略的省錢利器。RAG 場景中多個 query 共用同一段 system prompt + 檢索文件,prefix cache 能直接複用這些 block 的 KV。在 8k context、共用 4k prefix 的場景下實測,重複 token 節省超過 30%,首 token 延遲(TTFT)直接砍半。

v1 engine 將 Scheduler 全數以 Python 重寫(先前版本是 C++),好處在於修改排程策略不必重新編譯,迭代速度提升 5 倍以上。代價是 GIL 帶來的微小額外成本,vllm 團隊用 zero-overhead 排程器加以規避。

它強在哪裡 / 弱在哪裡

橫向比較一下主流推論框架。

維度vLLMTGITensorRT-LLMSGLang
吞吐(同硬體)基準 1x0.5-0.7x0.8-1.1x0.9-1.2x(radix attention 表現優異)
部署複雜度中低高(需要編譯 engine)中
新模型支援延遲1-2 週2-3 週3-4 週1-2 週
小型模型 <7B 優勢一般接近一般一般

吞吐領先來自社群優化 + chunked prefill + prefix cache 三件套的綜合效果。純 decode 場景差距不大,prefill-heavy 場景 vLLM 優勢明顯。

但 vLLM 的痛點確實存在:Python + CUDA 混合堆疊,debug kernel 錯誤時常需要翻五層堆疊追蹤;新版本 v1 engine 與 v0 API 不完全相容,舊程式遷移需要小幅改動;部分 MoE 架構的 expert parallel 路徑仍有 race condition,issue 區有人回報過。

我跑了一次實測

環境:H100 80G 單卡,Qwen2.5-7B-Instruct,input 1k / output 256,32 並發,執行 vllm bench serve。

# 預設配置
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
  --dataset random --random-input-len 1024 --random-output-len 256 \
  --max-concurrency 32 --num-prompts 256

# 啟用 chunked prefill + prefix cache
vllm bench serve --model Qwen/Qwen2.5-7B-Instruct \
  --dataset random --random-input-len 1024 --random-output-len 256 \
  --max-concurrency 32 --num-prompts 256 \
  --enable-chunked-prefill --enable-prefix-caching

結果:

  • 預設:output throughput 1800 tok/s,TTFT p50 180ms、p99 520ms
  • 啟用兩項優化:output throughput 4200 tok/s(+133%),TTFT p50 95ms、p99 380ms

GPU 使用率從 47% 提升到 73%。額外成本幾乎全在 KV Cache 複製與 padding 上。chunked prefill 切分長輸入後讓 decode 請求得以插隊,prefix cache 命中後 prefill 階段直接跳過。

誰適合使用

適合:

  • 自建 OpenAI 替代服務(API 完全相容,亦支援 Anthropic Messages API)
  • RAG / Agent 後端(prefix cache + chunked prefill 直接命中痛點)
  • 需要高併發的小團隊(vLLM 一個人就能運維)
  • 異質硬體環境(NVIDIA / AMD / Intel GPU + TPU / Gaudi / Ascend / Apple Silicon 都可運行)

不適合:

  • 單卡跑 <1B 模型(負擔大於效益)
  • 純離線批次任務(vLLM 為 online-first 設計,批次任務用 HF transformers 更順手)
  • 冷啟動延遲敏感於 100ms 以下的小流量場景(模型載入需 30 秒以上)

部署 checklist:

  1. 量化按場景選擇:延遲敏感用 FP8,顯存吃緊用 INT4,通用伺服器選 GPTQ/AWQ
  2. enforce_eager=False 必開,提速 20%
  3. --max-num-seqs 設為實際併發峰值再上調 20%,避免排程器頻繁 evict
  4. 監控 KV Cache 使用率,長期高於 85% 就該加卡了
  5. 多機部署用 Tensor Parallel + Pipeline Parallel,256 卡以上已驗證可用於生產
  6. Disaggregated Prefill/Decode 是大型場景的殺手鐧:prefill 與 decode 跑在不同節點,長 prompt 場景吞吐再翻倍,但需要 RDMA 網路

一個反直覺的結論:vLLM 目前的瓶頸不在 GPU 算力,而在排程器。chunked prefill、prefix cache、disaggregated 等功能全是排程層的最佳化,硬體反而不是主戰場。選 vLLM 不是選一個 inference engine,而是選擇一種排程哲學。


完整文件與最新特性請參閱 GitHub README,量化格式支援清單(FP8 / NVFP4 / MXFP4 / INT8 / INT4 / GPTQ / AWQ / GGUF)也在那裡。

來源: https://github.com/vllm-project/vllm