まず結論:2台のDGXで607.8 tok/sを達成
今回のテスト構成は次のとおりです。
- モデル:GLM-5.3
- ハードウェア:2台のNVIDIA DGX Station
- 推論フレームワーク:vLLM
- 結果:607.8 tok/s
NVIDIAの技術記事によると、この構成は、1台のDGX Stationでは目標スループットを満たせない場合の应对Dt 而中介されたものです。2台の機器は、それぞれが独立したリクエストを処理するのではなく、同じGLM-5.3推論サービスを共同企业提供します。
これは,新的GPUのベンチマークランキングではなく、マルチノード推論の導入事例と捉えるのが適切です。解決しようとしているのは具体的で、「既存のワークステーションでは目標スループットを満たせない場合、単機の大型化以外にどのようなエンジニアリング上の選択肢があるのか」という問題です。
マルチノード推論で拡張するのはスループット
LLM推論は、1秒間に生成できるtoken数という1つの数字にまとめられることがよくあります。ただし、tok/sを評価する前に、少なくとも3つの条件を確認する必要があります。
- 単一リクエストの出力速度か、複数リクエストの合計スループットか
- 各リクエストのinputとoutputはどのくらいの長さか
- テスト中はどれほどの並行リクエストが同時刻に処理されていたか
これらの条件が欠けていると、607.8 tok/sを「ユーザーが体感する速度」に換算できません。
マルチノードによる推論の拡張では、通常、モデル並列化を用います。モデルの重みを複数のGPUに分割し、各機器が一部の層を計算します。フォワード計算では、中間状態を高速な互联経由で転送します。この方式では、より多くのメモリと計算資源を利用でき、各ノードにモデルの完全コピーを配置する無駄も避けられます。
この構成の中心は、2つのサービスインスタンスを単純に複製することではなく、2台のDGX Stationで1つの推論クラスターを構成することです。vLLMがリクエストのスケジューリング、連続バッチ処理、並列実行を担当し、NVIDIAのインフラがノード間の通信を提供します。
モデル並列化には、明確なコストもあります。
- ノード間の遅延がすべての推論経路に混入する
- 2台の間の負荷を均等にする必要がある
- いずれかのノードで異常が発生すると、サービス全体に影響する可能性がある
- デプロイ、トラブルシューティング、スケールアップ・ダウンの運用が単一プロセスより複雑になる
したがって、この構成がまず拡張するのはスループットであり、すべてのレイテンシ指標ではありません。システムが同時に処理できるリクエスト数は増え得ますが、最初のtokenが生成されるまでの時間が必ず短くなるわけではありません。
vLLMがこの用途に適している理由
vLLMは、特定のモデルの実行速度だけを追及する製品ではありません。変動するリクエストを、有限のGPU資源でどう共有するかを実現する、高スループット向けの推論サービスフレームワークです。
主要な機能は3つの層で構成されます。
1つ目はPagedAttentionです。KV cacheをページ方式で管理し、メモリの無駄を減らします。長いコンテキストや高い並行性を持つサービスでは、単に計算力を上げるよりも直接的な効果をもたらします。
2つ目はcontinuous batchingです。生成式リクエストの処理時間はそれぞれ異なります。新しいリクエストが到着した际、schedulerがバッチを調整し、バッチ全体の完了を待つ必要がありません。固定のpromptを処理するオフライン処理では優位性が小さい一方、トラフィックが継続的に変化するオンライン環境では重要な機能になります。
3つ目は分散実行です。vLLMはモデルを複数マシンに分割して配置し、ノード間の通信を処理できます。これにより、モデル並列化を単一ホスト内の複数GPUに限定せず、複数マシンへ展開できます。
この3つの機能を組み合わせたことで、今回の導入パスが成立しています。
GLM-5.3
↓
vLLM distributed serving
↓
NVIDIA DGX Station #1 ←→ NVIDIA DGX Station #2
ハードウェアのピーク値は上限にすぎません。重みをどう分割するか、リクエストをどう並べるか、KV cacheをどう再利用するか、ノード間でどう通信するかによって、システムが最終的に提供できる有効なスループットが決まります。
607.8 tok/sだけでは本番運用に十分と言えない
607.8 tok/sは目を引く数値ですが、それだけを本番環境の受け入れ基準にすることはできません。
少なくとも、次の各項目について追加測定を行う必要があります。
| 観点 | 記録する内容 |
|---|---|
| input・outputの長さ | 短いQA、長いprompt、コード生成を個別にテストする |
| 並行数 | 単一リクエスト、典型的な業務ピーク、負荷ピークを測定する |
| レイテンシ | TTFT、TPOT、エンドツーエンドのP50/P95/P99 |
| リソース | ノードごとのVRAM、GPU利用率、電力消費 |
| 安定性 | 数時間の連続稼働後のスループットとエラー率 |
| 障害時の挙動 | 単一ノードの停止、再起動、復旧までの時間 |
このうちTTFTは非常に重要です。ユーザーがリクエストを送信してから最初のtokenが表示されるまでの時間は、後続tokenの生成速度よりも対話体験を左右することがよくあります。バッチ型のオフライン処理では高いTTFTを許容できる一方、Agentのオンライン呼び出しではそうとは限りません。
リクエスト長の分布も重要です。テストが短いinputと長いoutputだけで 구성されていれば、 좋은スループット展现出可能性があります。長いコンテキストのリクエストが大量になると、KV cacheの使用量とprefill時間が変わり、結果も変化する可能性があります。
より信頼性の高い方法は、実際の業務トラフィックを再生することです。本番トラフィックがない場合でも、input・outputのtoken長、並行数、リクエスト到着レート、モデルパラメータを固定し、単機と2台構成の結果を比較する必要があります。そうでなければ、607.8 tok/sはテスト画面の截 merely にすぎません。
この構成は国产モデルのデプロイに何をもたらすか
すでにNVIDIAのインフラを利用しているチームにとって、このテストの価値は、推論スタックを独立した層として構築でき、特定のモデルに固定する必要がないことです。
GLM-5.3がコスト、精度、並行性の要件を満たせなくなった場合、チームはハードウェア基盤を作り直す前に、モデルの差し替えを試せます。その前提として、対象モデルがvLLMに接続でき、分散並列化、量子化、オペレータ対応などの条件を満たす必要があります。
これにより、モデルの選択とシステム基盤の選択を分離できます。
- モデルの層:GLM-5.3とClaude、Qwen、DeepSeekなどの間で、出力品質、価格、コンテキスト処理能力を比較する
- システムの層:vLLMやTensorRT-LLMなどの推論スタックと、単機・マルチノード・異なる並列戦略の運用コストを比較する
マルチノード構成は、運用複雑性も増やします。チームでは、ノードの健全性、NICと互联の状態を監視し、バージョンの同期を管理し、ノード障害時の縮退運用と復旧手順を準備する必要があります。ノード間スループットが高いほど、1台の障害が大きな影響を及ぼします。
したがって、607.8 tok/sは、導入ルートの検証結果として捉えるのが適切です。独自のNVIDIAインフラでオープンソースモデル用户提供でき、モデルと推論スタックを層ごとに差し替えられることが示されています。本番運用に投資する価値があるかは、完全なベンチマークと障害演習で判断する必要があります。
編集者の視点
この事例で興味深いのは、新しいスループット記録を更新したことではありません。「1台のGPUでは不足する」という課題を、采购問題からシステム問題へと問い直した点です。モデル並列化、連続バッチ処理、ノード間スケジューリングにより、既存のハードウェアの使い方を再設計できます。国产モデルのデプロイでは特に重要です。モデルの出力は頻繁に反復する一方、基盤となる推論システムまで作り直す必要はありません。
uture、モデルを評価する際に、1 tokenあたりのモデル価格と、目標SLAを達成するために必要な有効スループットのコストを合わせた「2層コスト」が一般的になると考えられます。後者は、GPUの選択、並列戦略、サプライヤーの選定に直接影響します。
過去のベンチマークと異なるのは、テスト対象が単一のGPUからサービス全体の経路に変わった点です。ただし、公開されている概要にはinput・outputの長さ、並行数、TTFT、完全な構成が示されていないため、607.8 tok/sの本番環境でのコストパフォーマンスを判断するには、依然として情報が不足しています。「2台構成が答えだ」と宣言する前に、完全なテストデータを待つべきです。