先看結論:兩台 DGX 跑出 607.8 tok/s
這次測試的組合很直接:
- 模型:GLM-5.3
- 硬體:兩台 NVIDIA DGX Station
- 推理框架:vLLM
- 結果:607.8 tok/s
NVIDIA 在技術文章中說明,這套方案主要針對單台 DGX Station 無法滿足目標吞吐量的情況。兩台設備協同提供同一套 GLM-5.3 推理服務,而不是各自處理完全獨立的請求。
與其把這視為新的 GPU 跑分榜單,更適合把它當成多機推理部署案例。它回答的是一個相當具體的工程問題:當現有工作站無法承載目標吞吐量時,除了改用更強的單機系統,還有哪些工程方案可以嘗試。
跨機推理真正擴大的是吞吐
LLM 推理經常被濃縮成一個數字:每秒生成多少 token。
但看到 tok/s,至少要先問三個問題:
- 這是單一請求的輸出速度,還是多個請求加總後的總吞吐?
- 每個請求的 input 與 output 各有多長?
- 測試期間同時存在多少個請求?
缺少這些背景,607.8 tok/s 很難換算成「每位使用者實際感受到多快」。
跨機推理擴充通常會採用模型平行。模型權重切分至不同 GPU,每台設備各自計算一部分模型層,前向運算則透過高速互連傳遞中間狀態。這種方式能運用更多記憶體與運算資源,也不必讓每個節點都完整載入一份模型。
此處的關鍵不是複製兩個服務實例,而是讓兩台 DGX Station 組成同一個推理叢集。vLLM 負責請求排程、continuous batching 與平行執行,NVIDIA 基礎設施則負責節點間通訊。
模型平行也有明確成本:
- 節點間延遲會進入每次推理路徑。
- 兩台機器必須維持負載平衡。
- 任一節點發生異常,都可能影響整體服務。
- 部署、故障排除與擴充縮容都比單一程序複雜許多。
因此,這套方案首先擴充的是吞吐,而不是所有延遲指標。它可以提升系統同時處理請求的能力,卻不保證首個 token 的產出速度更快。
vLLM 為何適合承擔這項工作
vLLM 的目標不只是讓某個模型跑得更快。它更接近高吞吐推理服務框架,主要處理動態請求如何共享有限的 GPU 資源。
核心能力可分為三層。
第一層是 PagedAttention。它以分頁方式管理 KV cache,減少記憶體浪費。面對長上下文與高併發服務,這比單純提高運算能力更直接有效。
第二層是 continuous batching。生成式請求的處理時間各不相同;新請求抵達時,排程器可以調整批次,不必等待整批請求全部結束。離線執行固定 prompt 時,這項優勢較不明顯;但線上流量持續變動時,它就非常關鍵。
第三層是分散式執行。vLLM 支援將模型切分至多台機器,並處理跨節點通訊,讓模型平行不只限於單台多 GPU 主機內部。
這三項能力結合起來,構成本次案例的部署路徑:
GLM-5.3
↓
vLLM distributed serving
↓
NVIDIA DGX Station #1 ←→ NVIDIA DGX Station #2
硬體峰值只是上限。權重如何切分、請求如何排隊、KV cache 如何重複使用,以及節點間如何通訊,才決定系統最終能交付多少有效吞吐。
607.8 tok/s 不等於已達生產環境的速度要求
607.8 tok/s 是個醒目的結果,但無法單獨作為生產環境的驗收指標。
至少還需要補測以下幾組數據:
| 維度 | 需要記錄的內容 |
|---|---|
| 輸入與輸出長度 | 分別測試短問答、長提示詞與程式碼生成 |
| 併發量 | 單一請求、典型業務尖峰與壓力尖峰 |
| 延遲 | TTFT、TPOT、端到端 P50/P95/P99 |
| 資源 | 各節點記憶體、GPU 使用率、功耗 |
| 穩定性 | 連續執行數小時後的吞吐量與錯誤率 |
| 故障行為 | 單節點退出、重啟與復原時間 |
其中,TTFT 尤其關鍵。使用者送出請求後多久看到第一個 token,往往比後續 token 的生成速度更影響互動體驗。離線批次任務可以接受較高的 TTFT,Agent 的線上呼叫則未必能夠容忍。
請求長度分布同樣重要。如果測試全是短輸入、長輸出,吞吐數字會非常漂亮;一旦改成大量長上下文請求,KV cache 占用與 prefill 時間都可能改變結果。
更可靠的做法是使用真實業務流量進行回放。若目前沒有生產流量,至少應固定 input/output token 長度、併發數、請求抵達速率與模型參數,再比較單機與雙機結果。否則,607.8 tok/s 只不過是一張測試截圖。
這套方案對國產模型部署的意義
對於已經採用 NVIDIA 基礎設施的團隊,這項測試的價值在於:推理堆疊可以作為獨立的一層,不必與特定模型綁定。
當 GLM-5.3 不再符合成本、效果或併發需求時,團隊可以先嘗試替換模型,而不必重做整個硬體平台。前提是目標模型能接入 vLLM,並支援分散式平行、量化與所需運算子。
這樣能把兩項決策分開處理:
- 模型層:比較 GLM-5.3 與 Claude、Qwen、DeepSeek 等模型的輸出品質、價格與上下文能力。
- 系統層:比較 vLLM、TensorRT-LLM 等推理堆疊,以及單機、多機和不同平行策略的執行成本。
多機部署也會提高維運複雜度。團隊需要監控節點健康狀態、網路卡與互連狀況,處理版本同步,還要準備節點故障時的降級與復原方案。跨機吞吐越高,單一節點故障造成的影響也越大。
因此,607.8 tok/s 更適合作為部署路線的驗證結果:自有 NVIDIA 基礎設施可以承載開源模型,模型與推理堆疊也能分層替換。至於是否值得投入生產環境,仍需完整基準測試與故障演練才能回答。
編輯觀察
這次案例真正值得關注的地方,不是刷新了某個吞吐數字,而是把「單台 GPU 不夠」從採購問題重新定義為系統問題。模型平行、continuous batching 與跨節點排程,都能重新安排既有硬體的使用方式。對國產模型部署而言,這一點尤其重要:模型效果需要頻繁迭代,底層推理系統卻不必跟著重寫。
我的判斷是,團隊評估模型時,會更常採用「雙層成本」:模型每 token 的價格,加上達到目標 SLA 所需的有效吞吐成本。後者會直接影響選卡、平行策略與供應商選擇。
這次與過去跑分的不同之處,在於測試對象已從單張 GPU 變成完整的服務路徑。不過,現有摘要尚未提供輸入與輸出長度、併發量、TTFT 和完整設定,因此仍無法據此判斷 607.8 tok/s 在生產環境中的成本效益。完整測試數據公布前,不宜過早宣告「雙機就是答案」。