젠슨황의 다음 카드는 H200이 아니라 CUDA, DPU, AI Factory다. 경쟁사들이 노리는 방향이 이미 옛날 게임이라는 지적이다.
최근 TechCrunch 기사를 하나 읽었다. 원제목이 직관적이다. Nvidia's AI advantage is moving beyond the GPU.读完最大的感受不是 "Nvidia 又强了", 而是——대부분의 경쟁사는 아직 엔비디아와 이미 끝난 전쟁을 하고 있다.
GPU 단일 카드 연산 성능이라는 축에서 보면, AMD는 사실상 따라잡았다. 그런데 엔비디아의 해자는 처음부터 실리콘 위에 있지 않았다.
GPU는 이미 엔비디아에서 가장 약한 고리
먼저 반직관적인 주장 하나. AMD/Intel과 단일 카드 TOPS(초당 조 단위 연산)를 경쟁하는 건 지금 가장 의미 없는 싸움이다.
AMD MI300X는 2023년 출시됐고, 메모리 대역폭과 FP16(반정밀도 부동소수점) 연산 능력 모두 H100과 같은 급이다. 그런데 2년이 지나도록 고객이 대량으로 갈아타지 않는 이유는 무엇일까.
PyTorch 소스 코드를 한번 열어보자.
# PyTorch 默认 tensor backend
import torch
x = torch.randn(1024, 1024).cuda() # 不写 .cuda() 也能跑,但默认走 CUDA
print(torch.backends.cudnn.version()) # cuDNN 版本torch.cuda는 PyTorch의 사실상 표준이다. 여기서 말하는 cuda는 단순히 "N 카드가 돌아간다" 수준이 아니다. 그 뒤에 cuDNN(딥러닝 가속 라이브러리), cuBLAS(선형대수 라이브러리), NCCL(멀티 GPU 통신 라이브러리), 그리고 수만 개 연산자의 칩별 최적화가 묶여 있다. AMD가 이 cuda 호출을 대체하려면, 딥러닝 스택 전체를 재구현해야 한다.
MI300이 연산 능력으로 따라잡은 지 2년째다. PyTorch 기본 백엔드는 여전히 CUDA다.
CUDA가 진짜 해자다
하드웨어는 따라잡을 수 있지만, 소프트웨어 생태계는 10년이 필요하다.
엔비디아의 CUDA는 단일 제품이 아니라 서로 맞물린 라이브러리 묶음이다.
- cuDNN: 합성곱, 어텐션, 정규화 등 DL(딥러닝) 프리미티브의 최적 구현
- TensorRT: 모델 추론 옵티마이저(양자화, 커널 퓨전)
- NCCL: 멀티 GPU/멀티 노드 집합 통신, 분산 학습의 핵심
- Triton(GPU 버전): 엔비디아가 직접 만든 중간 단계 커널 언어
개발자 락인은 어떻게 발생하는가. PyTorch에서 F.conv2d(x, w)를 쓰면, 내부적으로 cuDNN이 현재 GPU 아키텍처에 맞춰 손조립한 어셈블리를 호출한다. 이런 "무비용" 성능은 ROCm(AMD의 오픈소스 컴퓨팅 플랫폼)으로 이전하면 사라진다.
오픈소스 대체재가 있긴 한가. 있다. Triton, ROCm, Ascend C 모두 따라가는 중. 하지만 프로덕션에서 모델 데모 하나를 돌리는 것과 1024장에서 한 달간 안정적으로 학습을 돌리는 건 완전히 다른 이야기다. 전자는 주말에 끝낼 수 있고, 후자는 SRE(사이트 신뢰성 엔지니어링) 팀 전체가 안정성을 봐야 한다.
DPU + NVLink: 전장을 네트워크 계층으로 끌어올리다
CUDA는 소프트웨어 레이어이고, 엔비디아의 두 번째 해자는 네트워크에 있다.
8장 H200 노드 한 대의 진짜 병목은 무엇인가. 연산 성능이 아니라 GPU끼리 대화하는 속도다. NVLink 단일 세대 대역폭이 900GB/s에서 현재 1.8TB/s까지 뛰었는데, 이 수치를 AMD의 Infinity Fabric와 Intel의 Xe Link는 아직 한 자리수 차이로 못 따라온다.
더 강력한 건 BlueField DPU(데이터 처리 유닛)다. 엔비디아는 NIC, 스토리지 컨트롤러, 보안 엔진을 Arm 코어 SoC(시스템 온 칩) 한 칩에 통합했다. 의미는 다음과 같다.
- 스토리지에서 GPU로 가는 경로에서 CPU가 데이터 복사에 끼지 않는다
- 집합 통신을 DPU로 오프로드하고, 메인 GPU는 연산만 담당한다
- 멀티 테넌트 격리와 보안 암호화가 전부 하드웨어 레이어에서 끝난다
이런 구성은 Intel/AMD가 대응할 제품을 사실상 갖고 있지 않다. Intel의 IPU와 AMD의 Pensando는 아직 따라가는 중이고, 격차는 년 단위로 측정된다.
AI Factory: 엔비디아가 카드를 파는 게 아니라 공장째 판다
가장 과소평가된 변화는 엔비디아의 비즈니스 모델이다.
예전 고객은 A100/H100을 샀다. 지금은 DGX SuperPOD, Foundry, NIM 마이크로서비스를 산다. 전형적인 계약 코드는 이런 모양이다.
# NIM (Nvidia Inference Microservice) 部署示意
from nvidia.nim import Llama3_8B_Instruct
model = Llama3_8B_Instruct(
gpu="H200-80GB",
replicas=8, # 8 卡张量并行
precision="bf16", # 脑浮点 16
max_batch_size=64,
)
response = model.generate("解释下 NVLink 协议")고객은 NCCL 초기화를 모를 필요가 없고, RDMA(원격 직접 메모리 접근) NIC를 설정할 필요도 없고, CUDA 커널을 짤 필요도 없다. 한 번에 끌어올리면 프로덕션 가능한 추론 서비스가 나온다.
전환 비용이 "카드 교체"에서 "SRE 프로세스 전체 교체"로 바뀌었다. 전자는 백만 단위, 후자는 억 단위다. 그래서 고객은 입으로는 엔비디아가 비싸다고 투덜거리면서도, 몸은 정직하다.
중국 업체들의 오해: 아직도 단일 카드 연산력을 쫓는다
중국 AI 칩热潮 속에서 寒武纪(캠브리콘), 海光(하이광), 摩尔线程(무어 스레드)는 모두 FP16/INT8(8비트 정수) 연산력 스펙을 내걸고 경쟁하고 있다. 이건 필수 동작이지만 충분한 동작은 아니다.
진짜 문제는 따로 있다. CUDA 생태계가 중국 내에서는 거의 백지 상태라는 점이다.
개발자가 원하는 건 "PyTorch가 돌아간다"가 아니다. CUDA 위에서 PyTorch가 돌아간 지 이미 10년 됐다. 그들이 원하는 건 "같은 속도로, 같은 안정성으로, 같은 적은 버그로" 돌아가는 것이다. 이를 위해선 다음이 필요하다.
- 업스트림 PyTorch 기여자와 깊이 묶여 있을 것(포크가 아니라 main branch에 들어갈 수 있어야 한다)
- 주요 오픈소스 모델(Llama, Qwen, DeepSeek) 공식 지원
- 클러스터를 30일 동안 크래시 없이 안정적으로 굴릴 수 있는 엔지니어링 능력
하드웨어 스펙 맞추기는 쉽고, 생태계 맞추기는 어렵다. 이게 향후 3년 중국 업체들이 가장 깊이 느낄 해자 격차다.
편집자 소견
이 이슈가 중요한 이유는, "AI 칩 회사"의 해자라는 개념 자체를 재정의하기 때문이다.
지난 10년 동안 업계는 "더 좋은 칩 = 더 좋은 해자"라는 디폴트를 갖고 있었다. 엔비디아는 십수 년간 소프트웨어, 네트워크, 시스템 통합이라는 세 레이어의 복합 우위가 단일 카드 연산력보다 훨씬 무너뜨리기 어렵다는 걸 증명해왔다.
판단: 향후 3년 엔비디아에 가장 위험한 상대는 AMD/Intel이 아니라, 클라우드 업체 자체 칩 + 소프트웨어 추상화 레이어 연합이다. AWS Trainium 3, TPU v6, Tenstorrent 같은 존재는 엔비디아의 실리콘 사업을 위협하는 게 아니라 "AI Factory" 서사를 위협한다. 고객이 "추론은 자체 칩, 학습은 엔비디아"라는 하이브리드 아키텍처를 받아들이기 시작하면, 엔비디아의 매출총이익률이 눌린다.
CUDA에 대한 진짜 위협은 Triton 같은 크로스 벤더 추상화 레이어에서 올 수도 있다. Triton은 이미 OpenAI 내부에서 전사적으로 수년간 사용돼왔고, 최근 AMD/Intel로 열기 시작했다. Triton이 새로운 "PyTorch 백엔드"가 되면, 엔비디아의 cuDNN/NCCL 락인이 풀린다. 느린 변수이지만 방향은 주시할 만하다.
불확실한 지점: 엔비디아도 이걸 알고 있어서 NIM, Megatron-Core(LLM 학습 프레임워크) 같은 더 상위 레이어의 락인을 계속 밀고 있다. 향후 2년 안에 "개발자 머릿속 기본 스택"을 먼저 가져가는 쪽이 이긴다. Triton이냐 NIM이냐에 따라 2028년 판이 갈린다.