NVIDIA DGX Station 2대와 vLLM을 결합해 GLM-5.3의 추론 처리량을 607.8 tok/s까지 끌어올렸다. 이번 글에서는 이 다중 호스트 배포 방식을 살펴보고, 운영 환경에 적용하기 위해 추가로 측정해야 할 지표를 정리한다.
핵심 요약: DGX 2대에서 607.8 tok/s 달성
이번 테스트에 사용한 구성은 다음과 같다.
- 모델: GLM-5.3
- 하드웨어: NVIDIA DGX Station 2대
- 추론 프레임워크: vLLM
- 결과: 607.8 tok/s
NVIDIA의 기술 문서에 따르면 이 구성은 단일 DGX Station만으로는 목표 처리량을 달성할 수 없을 때를 위한 것이다. 두 장비는 각각 독립적인 요청을 처리하는 방식이 아니라, 하나의 GLM-5.3 추론 서비스를 함께 제공한다.
이 사례는 새로운 GPU 성능 순위라기보다 다중 호스트 추론 배포의 실제 사례에 가깝다. 기존 워크스테이션으로 목표 처리량을 확보할 수 없을 때, 더 큰 단일 서버로 교체하는 것 외에 어떤 엔지니어링 선택지가 있는지를 구체적으로 보여주기 때문이다.
다중 호스트 추론으로 확장되는 것은 처리량
LLM 추론 성능은 종종 초당 생성되는 token 수라는 하나의 숫자로 요약된다. 하지만 tok/s를 해석하려면 최소한 다음 세 가지를 확인해야 한다.
- 단일 요청의 출력 속도와 여러 요청을 합산한 전체 처리량 중 어느 쪽을 의미하는가?
- 각 요청의 input과 output은 각각 얼마나 긴가?
- 테스트 중 동시에 처리된 요청은 몇 개인가?
이러한 조건이 없으면 607.8 tok/s를 ‘사용자가 체감하는 속도’로 환산하기 어렵다.
다중 호스트 추론 확장은 일반적으로 model parallelism을 사용한다. 모델 가중치를 여러 GPU에 나누고 각 장비가 일부 layer를 계산하며, 빠른 인터커넥트를 통해 중간 상태를 전달한다. 이 방식은 더 많은 메모리와 연산 자원을 활용하고, 모든 노드에 모델 전체를 각각 로드하는 방식의 낭비도 줄일 수 있다.
여기서 핵심은 서비스 인스턴스를 두 개 복제하는 것이 아니라 DGX Station 두 대가 하나의 추론 클러스터를 구성하는 것이다. vLLM은 요청 스케줄링, continuous batching, 병렬 실행을 담당하고, NVIDIA의 인프라가 노드 간 통신을 처리한다.
model parallelism에는 명확한 비용도 따른다.
- 노드 간 지연이 모든 추론 경로에 포함된다.
- 두 장비의 부하를 균형 있게 유지해야 한다.
- 한 노드에서 장애가 발생하면 전체 서비스에 영향을 줄 수 있다.
- 배포, 장애 대응, 확장과 축소는 단일 프로세스 환경보다 훨씬 복잡하다.
따라서 이 구성에서 먼저 확장되는 것은 처리량이지 모든 latency 지표는 아니다. 동시에 처리할 수 있는 요청 수는 늘어날 수 있지만, 첫 token까지의 시간이 반드시 빨라지는 것은 아니다.
vLLM이 적합한 이유
vLLM의 목표는 특정 모델의 실행 속도를 높이는 데만 있는 것이 아니다. 변화가 끊임없이 들어오는 요청을 제한된 GPU 자원으로 어떻게 공유할지 설계하는, 높은 처리량의 추론 서비스 프레임워크에 가깝다.
핵심 기능은 세 가지로 정리할 수 있다.
첫째는 PagedAttention이다. 페이징 방식으로 KV cache를 관리해 메모리 낭비를 줄인다. 긴 context와 높은 concurrency를handling하는 서비스에서는 연산 성능만 높이는 것보다 직접적인 효과를 제공한다.
둘째는 continuous batching이다. 생성형 요청마다 소요 시간이 다르기 때문에 새 요청이 들어오면 스케줄러가 batch를 조정할 수 있다. 고정된 prompt를 한꺼번에 처리하는 오프라인 작업에서는 장점이 잘 드러나지 않지만, 트래픽 양이 계속 바뀌는 온라인 환경에서는 중요한 기능이다.
셋째는 분산 실행이다. vLLM은 여러 장비에 모델을 나누어 배치하고 노드 간 통신을 처리하며, model parallelism을 단일 다중 GPU 호스트 내부에만 머물지 않게 한다.
이 세 가지 기능을 결합한 이번 사례의 배포 구조는 다음과 같다.
GLM-5.3
↓
vLLM distributed serving
↓
NVIDIA DGX Station #1 ←→ NVIDIA DGX Station #2
하드웨어의 최대 성능은 상한일 뿐이다. 가중치를 어떻게 나눌지, 요청을 어떻게 대기시킬지, KV cache를 어떻게 재사용할지, 노드 간 통신을 어떻게 구성할지가 시스템이 실제로 제공할 수 있는 유효 처리량을 결정한다.
607.8 tok/s만으로 운영 환경에 충분하다고 볼 수 없다
607.8 tok/s는 인상적인 수치지만, 그 자체를 운영 환경의 성능验收 지표로 삼기에는 부족하다.
최소한 다음 항목들을 추가로 측정해야 한다.
| 평가 항목 | 기록할 내용 |
|---|---|
| 입력·출력 길이 | 짧은 질의응답, 긴 prompt, 코드 생성 각각을 별도로 테스트 |
| 동시 요청 수 | 단일 요청, 일반적인 업무 피크, 부하 테스트 피크 |
| 지연 시간 | TTFT, TPOT, end-to-end P50/P95/P99 |
| 자원 사용량 | 노드별 GPU 메모리, GPU utilization, 전력 consumption |
| 안정성 | 수시간 연속 실행 후의 처리량과 오류율 |
| 장애 동작 | 단일 노드 종료, 재시작, 복구 시간 |
그중에서도 TTFT는 중요하다. 사용자가 요청을 보낸 뒤 첫 token을 보기까지 걸리는 시간은 이후 token 생성 속도보다 대화형 서비스 체감에 더 큰 영향을 주는 경우가 많다. 배치 오프라인 작업은 높은 TTFT도 허용할 수 있지만, Agent의 온라인 호출은 반드시 그렇지 않다.
요청 길이 분포 역시 중요하다. 테스트가 모두 짧은 input과 긴 output으로 구성되면 처리량은 좋은 수치로 나타날 수 있다. 장문의 context 요청이 대량으로 들어오면 KV cache 사용량과 prefill 시간이 달라져 결과가 바뀔 수 있다.
더 신뢰할 수 있는 방법은 실제 업무 트래픽을 재생하는 것이다. 운영 트래픽이 없다면 input/output token 길이, 동시 요청 수, 요청 도착률, 모델 파라미터를 고정하고 단일 호스트와 두 대 구성의 결과를 비교해야 한다. 그러지 않으면 607.8 tok/s는 테스트 화면에 남는 수치일 뿐이다.
국내 모델 배포에 주는 시사점
NVIDIA 인프라를 이미 사용하는 팀에 이 테스트가 주는 가치는 추론 스택을 독립된 계층으로 둘 수 있다는 점이다.
GLM-5.3이 비용, 성능, 동시 요청 수 요구사항을 충족하지 못하더라도 전체 하드웨어 플랫폼을 다시 구축할 필요는 없다. 목표 모델을 vLLM에 연결할 수 있고 분산 병렬 실행, 양자화, 연산자 지원 조건을 만족한다면 모델 교체가 가능하다는 뜻이다.
이렇게 하면 두 가지 의사결정을 분리할 수 있다.
- 모델 계층: GLM-5.3과 Claude, Qwen, DeepSeek 등의 출력 품질, 가격, context 처리 능력을 비교한다.
- 시스템 계층: vLLM, TensorRT-LLM 등의 추론 스택과 단일 호스트, 다중 호스트, 서로 다른 병렬 전략의 운영 비용을 비교한다.
다중 호스트 배포는 운영 복잡도도 높인다. 팀은 노드 상태, 네트워크 카드, 인터커넥트 상태를 모니터링하고 버전 동기화를 관리해야 하며, 노드 장애 시의 degraded operation과 recovery 계획도 준비해야 한다. 다중 호스트 처리량이 높을수록 한 노드의 장애가 미치는 영향도 커진다.
따라서 607.8 tok/s는 배포 경로 검증의 결과로 보는 편이 적절하다. 자체 NVIDIA 인프라로 오픈소스 모델을 서비스할 수 있고, 모델과 추론 스택을 계층별로 교체할 수 있다는 가능성을 보여준다. 실제 운영에 올릴 가치가 있는지는 완전한 benchmark와 장애 훈련을 통해 판단해야 한다.
편집자 관점
이번 사례에서 의미 있는 부분은 새로운 처리량 수치를 기록한 데 있지 않다. ‘단일 GPU로는 부족하다’는 문제를 장비 구매 문제에서 시스템 설계 문제로 바꾸었다는 점이다. model parallelism, continuous batching, 노드 간 스케줄링을 통해 기존 하드웨어의 활용 방식을 다시 설계할 수 있다.
국내 모델 배포에 특히 중요한 이유다. 모델 성능은 자주 개선해야 하지만, 하위 추론 시스템까지 매번 다시 작성할 필요는 없다.
팀은 모델을 평가할 때 ‘token당 모델 가격’과 ‘목표 SLA를 달성하는 데 필요한 유효 처리량 비용’을 더하는 방식의 비용 기준을 더 자주 활용하게 될 것으로 보인다. 후자는 GPU 선택, 병렬 전략, 공급업체 결정에 직접적인 영향을 준다.
과거의 성능 테스트와 달리 이번 테스트 대상은 개별 GPU가 아니라 완전한 서비스 경로로 확장됐다. 다만 공개된 요약에는 input·output 길이, 동시 요청 수, TTFT, 전체 설정이 포함되지 않았으므로 607.8 tok/s의 운영 환경 비용 효율을 아직 판단할 수 없다. 전체 테스트 데이터가 나올 때까지 기다리는 편이 ‘두 대가 정답’이라고 결론을 내리기보다 합리적이다.