實戰

GLM-5.3 跨兩台 DGX 部署實測:吞吐上看 607.8 tok/s

NVIDIA 以兩台 DGX Station 搭配 vLLM 部署 GLM-5.3,測得 607.8 tok/s 推理吞吐。這次測試呈現的是多機服務的擴展路徑,但正式上線前仍須驗證延遲、併發量、長度情境與節點故障表現。

字級

先看結論:兩台 DGX 跑出 607.8 tok/s

這次測試的組合很直接:

  • 模型:GLM-5.3
  • 硬體:兩台 NVIDIA DGX Station
  • 推理框架:vLLM
  • 結果:607.8 tok/s

NVIDIA 在技術文章中說明,這套方案主要針對單台 DGX Station 無法滿足目標吞吐量的情況。兩台設備協同提供同一套 GLM-5.3 推理服務,而不是各自處理完全獨立的請求。

與其把這視為新的 GPU 跑分榜單,更適合把它當成多機推理部署案例。它回答的是一個相當具體的工程問題:當現有工作站無法承載目標吞吐量時,除了改用更強的單機系統,還有哪些工程方案可以嘗試。

原始技術文章:https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/

跨機推理真正擴大的是吞吐

LLM 推理經常被濃縮成一個數字:每秒生成多少 token。

但看到 tok/s,至少要先問三個問題:

  1. 這是單一請求的輸出速度,還是多個請求加總後的總吞吐?
  2. 每個請求的 input 與 output 各有多長?
  3. 測試期間同時存在多少個請求?

缺少這些背景,607.8 tok/s 很難換算成「每位使用者實際感受到多快」。

跨機推理擴充通常會採用模型平行。模型權重切分至不同 GPU,每台設備各自計算一部分模型層,前向運算則透過高速互連傳遞中間狀態。這種方式能運用更多記憶體與運算資源,也不必讓每個節點都完整載入一份模型。

此處的關鍵不是複製兩個服務實例,而是讓兩台 DGX Station 組成同一個推理叢集。vLLM 負責請求排程、continuous batching 與平行執行,NVIDIA 基礎設施則負責節點間通訊。

模型平行也有明確成本:

  • 節點間延遲會進入每次推理路徑。
  • 兩台機器必須維持負載平衡。
  • 任一節點發生異常,都可能影響整體服務。
  • 部署、故障排除與擴充縮容都比單一程序複雜許多。

因此,這套方案首先擴充的是吞吐,而不是所有延遲指標。它可以提升系統同時處理請求的能力,卻不保證首個 token 的產出速度更快。

vLLM 為何適合承擔這項工作

vLLM 的目標不只是讓某個模型跑得更快。它更接近高吞吐推理服務框架,主要處理動態請求如何共享有限的 GPU 資源。

核心能力可分為三層。

第一層是 PagedAttention。它以分頁方式管理 KV cache,減少記憶體浪費。面對長上下文與高併發服務,這比單純提高運算能力更直接有效。

第二層是 continuous batching。生成式請求的處理時間各不相同;新請求抵達時,排程器可以調整批次,不必等待整批請求全部結束。離線執行固定 prompt 時,這項優勢較不明顯;但線上流量持續變動時,它就非常關鍵。

第三層是分散式執行。vLLM 支援將模型切分至多台機器,並處理跨節點通訊,讓模型平行不只限於單台多 GPU 主機內部。

這三項能力結合起來,構成本次案例的部署路徑:

GLM-5.3
   ↓
vLLM distributed serving
   ↓
NVIDIA DGX Station #1 ←→ NVIDIA DGX Station #2

硬體峰值只是上限。權重如何切分、請求如何排隊、KV cache 如何重複使用,以及節點間如何通訊,才決定系統最終能交付多少有效吞吐。

607.8 tok/s 不等於已達生產環境的速度要求

607.8 tok/s 是個醒目的結果,但無法單獨作為生產環境的驗收指標。

至少還需要補測以下幾組數據:

維度 需要記錄的內容
輸入與輸出長度 分別測試短問答、長提示詞與程式碼生成
併發量 單一請求、典型業務尖峰與壓力尖峰
延遲 TTFT、TPOT、端到端 P50/P95/P99
資源 各節點記憶體、GPU 使用率、功耗
穩定性 連續執行數小時後的吞吐量與錯誤率
故障行為 單節點退出、重啟與復原時間

其中,TTFT 尤其關鍵。使用者送出請求後多久看到第一個 token,往往比後續 token 的生成速度更影響互動體驗。離線批次任務可以接受較高的 TTFT,Agent 的線上呼叫則未必能夠容忍。

請求長度分布同樣重要。如果測試全是短輸入、長輸出,吞吐數字會非常漂亮;一旦改成大量長上下文請求,KV cache 占用與 prefill 時間都可能改變結果。

更可靠的做法是使用真實業務流量進行回放。若目前沒有生產流量,至少應固定 input/output token 長度、併發數、請求抵達速率與模型參數,再比較單機與雙機結果。否則,607.8 tok/s 只不過是一張測試截圖。

這套方案對國產模型部署的意義

對於已經採用 NVIDIA 基礎設施的團隊,這項測試的價值在於:推理堆疊可以作為獨立的一層,不必與特定模型綁定。

當 GLM-5.3 不再符合成本、效果或併發需求時,團隊可以先嘗試替換模型,而不必重做整個硬體平台。前提是目標模型能接入 vLLM,並支援分散式平行、量化與所需運算子。

這樣能把兩項決策分開處理:

  • 模型層:比較 GLM-5.3 與 Claude、Qwen、DeepSeek 等模型的輸出品質、價格與上下文能力。
  • 系統層:比較 vLLM、TensorRT-LLM 等推理堆疊,以及單機、多機和不同平行策略的執行成本。

多機部署也會提高維運複雜度。團隊需要監控節點健康狀態、網路卡與互連狀況,處理版本同步,還要準備節點故障時的降級與復原方案。跨機吞吐越高,單一節點故障造成的影響也越大。

因此,607.8 tok/s 更適合作為部署路線的驗證結果:自有 NVIDIA 基礎設施可以承載開源模型,模型與推理堆疊也能分層替換。至於是否值得投入生產環境,仍需完整基準測試與故障演練才能回答。

編輯觀察

這次案例真正值得關注的地方,不是刷新了某個吞吐數字,而是把「單台 GPU 不夠」從採購問題重新定義為系統問題。模型平行、continuous batching 與跨節點排程,都能重新安排既有硬體的使用方式。對國產模型部署而言,這一點尤其重要:模型效果需要頻繁迭代,底層推理系統卻不必跟著重寫。

我的判斷是,團隊評估模型時,會更常採用「雙層成本」:模型每 token 的價格,加上達到目標 SLA 所需的有效吞吐成本。後者會直接影響選卡、平行策略與供應商選擇。

這次與過去跑分的不同之處,在於測試對象已從單張 GPU 變成完整的服務路徑。不過,現有摘要尚未提供輸入與輸出長度、併發量、TTFT 和完整設定,因此仍無法據此判斷 607.8 tok/s 在生產環境中的成本效益。完整測試數據公布前,不宜過早宣告「雙機就是答案」。

來源

https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/

來源: https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/