黄仁勋的下一张牌不是 H200,是 CUDA、DPU 和 AI Factory。竞争对手盯错方向了。
最近翻到一篇 TechCrunch 的稿子,原标题很直接:Nvidia's AI advantage is moving beyond the GPU。读完最大的感受不是 "Nvidia 又强了",而是——大多数竞争对手还在和它打一场已经过时的仗。
GPU 单卡算力这件事,AMD 其实快追上了。但 Nvidia 的护城河从来不在硅片上。
GPU 早就是 Nvidia 最弱的一环
先抛个反共识观点:和 AMD/Intel 拼单卡 TOPS(每秒万亿次运算),是当下最没意义的竞争位。
AMD MI300X 2023 年发布,内存带宽和 H100 一个量级,FP16(半精度浮点)算力也咬得很紧。两年过去了,客户为什么不批量切?
打开 PyTorch 源码看一眼:
# PyTorch 默认 tensor backend
import torch
x = torch.randn(1024, 1024).cuda() # 不写 .cuda() 也能跑,但默认走 CUDA
print(torch.backends.cudnn.version()) # cuDNN 版本
torch.cuda 是 PyTorch 的事实标准。这个 cuda 不是 "N 卡能用" 那么简单——它背后绑着 cuDNN(深度学习加速库)、cuBLAS(线性代数库)、NCCL(多卡通信库),以及十几万个算子的特定优化。AMD 想替换这个 cuda 调用,等于要把整个深度学习栈重新实现一遍。
MI300 算力追上来两年了。PyTorch 默认 backend 还是 CUDA。
CUDA 才是真正的护城河
硬件可以追,软件生态需要十年。
Nvidia 的 CUDA 不是单点产品,是一组互相咬合的库:
- cuDNN:卷积、注意力、归一化等 DL(深度学习)原语的最优实现
- TensorRT:模型推理优化器(量化、kernel 融合)
- NCCL:多卡/多机集合通信,是分布式训练的命脉
- Triton(GPU 版):Nvidia 自己推出的中间层 kernel 语言
开发者粘性怎么来的?当你在 PyTorch 里写 F.conv2d(x, w),底层自动调用 cuDNN 里针对当前 GPU 架构手调的汇编。这种 "零成本" 性能,迁移到 ROCm(AMD 的开源计算平台)就消失。
开源替代品有吗?有。Triton、ROCm、Ascend C 都在追赶。但生产环境跑通一个模型 demo,和在 1024 张卡上稳定训练一个月,是两回事。前者是周末能搞定的事,后者需要一整个 SRE(站点可靠性工程)团队盯稳定性。
DPU + NVLink:把战场拉到网络层
CUDA 是软件层,Nvidia 的第二道护城河在网络。
一台 8 卡 H200 节点的真实瓶颈是什么?不是算力,是 GPU 之间互相说话的速度。NVLink 单代际带宽从 900GB/s 涨到现在的 1.8TB/s,这个数字 AMD 的 Infinity Fabric 和 Intel 的 Xe Link 都还差一个数量级。
更狠的是 BlueField DPU(数据处理单元)。Nvidia 把网卡、存储控制器、安全引擎全集成到一颗 Arm 核的 SoC(系统级芯片)里。意思是:
- 数据从存储到 GPU 的路径上,CPU 不再参与数据拷贝
- 集合通信卸载到 DPU,主 GPU 只管算
- 多租户隔离、安全加密全在硬件层完成
这套打法 Intel/AMD 基本没对位产品。Intel 的 IPU 和 AMD 的 Pensando 还在追,差距用年算。
AI Factory:Nvidia 不卖卡了,卖整套工厂
最被低估的变化,是 Nvidia 的商业模式。
以前客户买的是 A100/H100,现在买的是 DGX SuperPOD、Foundry、NIM 微服务。一个典型合同长这样:
# NIM (Nvidia Inference Microservice) 部署示意
from nvidia.nim import Llama3_8B_Instruct
model = Llama3_8B_Instruct(
gpu="H200-80GB",
replicas=8, # 8 卡张量并行
precision="bf16", # 脑浮点 16
max_batch_size=64,
)
response = model.generate("解释下 NVLink 协议")
客户不需要懂 NCCL 初始化、不需要配 RDMA(远程直接内存访问)网卡、不需要写 CUDA kernel。一键拉起,就是一个生产可用的推理服务。
切换成本从 "换张卡" 变成 "换掉整套 SRE 流程"。前者百万级,后者亿级。这就是为什么客户嘴上抱怨 Nvidia 贵,身体很诚实。
中国厂商的误区:还在追单卡算力
国内这一波 AI 芯片热潮,寒武纪、海光、摩尔线程都在卷 FP16/INT8(整数 8 位)算力对标。这是必要动作,但不是充分动作。
真正的问题是:CUDA 生态在国内几乎是空白。
开发者要的不是 "能跑 PyTorch"——CUDA 上能跑 PyTorch 已经 10 年了。他们要的是 "跑得一样快、跑得一样稳、bug 一样少"。这需要:
- 上游 PyTorch 贡献者深度绑定(不是 fork,是能进 main branch)
- 主流大模型(Llama、Qwen、DeepSeek)官方支持
- 集群稳定性跑满 30 天 0 crash 的工程能力
硬件对标容易,生态对标难。这是国内厂商接下来 3 年最深的护城河缺口。
编辑思考
这件事为什么重要?因为它重新定义了 "AI 芯片公司" 的护城河。
过去十年大家默认 "更好的芯片 = 更好的护城河"。Nvidia 用十几年证明了软件、网络、系统集成这三层的复合优势,远比单卡算力更难撼动。
我的判断:未来 3 年 Nvidia 最危险的对手不是 AMD/Intel,而是云厂商自研芯片 + 软件抽象层联盟。AWS Trainium 3、TPU v6、Tenstorrent 这些不是威胁 Nvidia 的硅片生意,而是威胁它的 "AI Factory" 叙事——如果客户开始接受 "推理用自研芯片、训练用 Nvidia" 的混合架构,Nvidia 的毛利率会被压。
CUDA 真正的威胁也可能来自 Triton 这种跨厂商抽象层。Triton 已经被 OpenAI 内部全员使用多年,最近开始向 AMD/Intel 开放。如果 Triton 成为新的 "PyTorch 后端",Nvidia 的 cuDNN/NCCL 绑定就被解耦了。这是慢变量,但方向值得盯。
不确定的地方:Nvidia 自己也看到了这点,所以一直在推 NIM、Megatron-Core(LLM 训练框架)等更高层的锁点。未来两年看谁先把 "开发者心理默认栈" 抢到——是 Triton、还是 NIM,会决定 2028 年的格局。