黃仁勳手中的王牌已非 H200,而是 CUDA、DPU 與 AI Factory。競爭對手恐怕瞄錯了靶心。
最近讀到一篇 TechCrunch 的報導,原標題很直接:Nvidia's AI advantage is moving beyond the GPU。讀完最大的感觸倒不是「Nvidia 又變強了」,而是——大多數競爭對手仍在打一場已經過時的仗。
GPU 單卡算力這件事,AMD 其實已快追上了。但 Nvidia 的護城河從來不在矽片上。
GPU 早就是 Nvidia 最弱的一環
先拋一個反直覺觀點:和 AMD/Intel 拼單卡 TOPS(每秒兆次運算),是當下最沒意義的競爭位置。
AMD MI300X 於 2023 年發表,記憶體頻寬和 H100 同個量級,FP16(半精度浮點)算力也咬得很緊。兩年過去了,客戶為何不大量轉向?
打開 PyTorch 原始檔看一眼:
# PyTorch 預設 tensor backend
import torch
x = torch.randn(1024, 1024).cuda() # 不寫 .cuda() 也能跑,但預設走 CUDA
print(torch.backends.cudnn.version()) # cuDNN 版本
torch.cuda 是 PyTorch 的事實標準。這個 cuda 不是「N 卡能用」那麼簡單——它背後綁著 cuDNN(深度學習加速函式庫)、cuBLAS(線性代數函式庫)、NCCL(多卡通訊函式庫),以及十幾萬個算子的特定優化。AMD 想替換這個 cuda 呼叫,等於要把整個深度學習技術堆疊重新實作一遍。
MI300 算力追上來兩年了。PyTorch 預設 backend 還是 CUDA。
CUDA 才是真正的護城河
硬體可以追,軟體生態需要十年。
Nvidia 的 CUDA 不是單一產品,而是多組互相咬合的函式庫:
- cuDNN:卷積、注意力、歸一化等深度學習基本操作的最佳實作
- TensorRT:模型推論優化器(量化、kernel 融合)
- NCCL:多卡/多機集合通訊,是分散式訓練的命脈
- Triton(GPU 版):Nvidia 自行推出的中間層 kernel 語言
開發者黏性怎麼來的?當你在 PyTorch 裡寫 F.conv2d(x, w),底層會自動呼叫 cuDNN 中針對當前 GPU 架構手調的組合語言。這種「零成本」效能,遷移到 ROCm(AMD 的開源運算平台)就消失無蹤。
開源替代品有嗎?有。Triton、ROCm、Ascend C 都在追趕。但在生產環境跑通一個模型 demo,和在 1024 張卡上穩定訓練一個月,是兩回事。前者是週末就能搞定的事,後者需要一整個 SRE(網站可靠性工程)團隊盯穩定性。
DPU + NVLink:把戰場拉到網路層
CUDA 是軟體層,Nvidia 的第二道護城河在網路。
一台 8 卡 H200 節點的真實瓶頸是什麼?不是算力,是 GPU 之間互相溝通的速度。NVLink 單代际带宽從 900GB/s 漲到現在的 1.8TB/s,這個數字 AMD 的 Infinity Fabric 和 Intel 的 Xe Link 都還差一個數量級。
更狠的是 BlueField DPU(資料處理器)。Nvidia 把網卡、儲存控制器、安全引擎全部整合進一顆搭載 Arm 核心的 SoC(系統單晶片)裡。意思是:
- 資料從儲存到 GPU 的路徑上,CPU 不再參與資料搬運
- 集合通訊卸載到 DPU,主 GPU 只管運算
- 多租戶隔離、安全加密全在硬體層完成
這套打法 Intel/AMD 基本上沒有對應產品。Intel 的 IPU 與 AMD 的 Pensando 仍在追趕,差距是以年為單位計算。
AI Factory:Nvidia 不賣卡了,改賣整座工廠
最被低估的變化,是 Nvidia 的商業模式。
以前客戶買的是 A100/H100,現在買的是 DGX SuperPOD、Foundry、NIM 微服務。一份典型合約長這樣:
# NIM (Nvidia Inference Microservice) 部署示意
from nvidia.nim import Llama3_8B_Instruct
model = Llama3_8B_Instruct(
gpu="H200-80GB",
replicas=8, # 8 卡張量並行
precision="bf16", # 腦浮點 16
max_batch_size=64,
)
response = model.generate("解釋一下 NVLink 通訊協定")
客戶不需要懂 NCCL 初始化、不需要設定 RDMA(遠端直接記憶體存取)網卡、不需要寫 CUDA kernel。一鍵啟動,就是一個可用於生產的推論服務。
轉換成本從「換張卡」變成「換掉整套 SRE 流程」。前者是百萬元等級,後者是億元等級。這就是為何客戶嘴上抱怨 Nvidia 貴,身體卻很誠實。
中國廠商的誤區:還在追單卡算力
國內這一波 AI 晶片熱潮,寒武紀、海光、摩爾線程都在捲 FP16/INT8(整數 8 位)算力對標。這是必要動作,但遠非充分動作。
真正的問題是:CUDA 生態在國內幾乎是一片空白。
開發者要的不是「能跑 PyTorch」——CUDA 上能跑 PyTorch 已經 10 年了。他們要的是「跑得一樣快、跑得一樣穩、bug 一樣少」。這需要:
- 對上游 PyTorch 貢獻者深度綁定(不是 fork,而是能進入 main branch)
- 主流大型模型(Llama、Qwen、DeepSeek)官方支援
- 叢集穩定性跑滿 30 天零 crash 的工程能力
硬體對標容易,生態對標難。這是國內廠商未來 3 年最深的護城河缺口。
編輯思考
這件事為何重要?因為它重新定義了「AI 晶片公司」的護城河。
過去十年大家預設「更好的晶片 = 更好的護城河」。Nvidia 用十幾年證明了軟體、網路、系統整合這三層的複合優勢,遠比單卡算力更難撼動。
我的判斷:未來 3 年 Nvidia 最危險的對手不是 AMD/Intel,而是雲端業者自研晶片 + 軟體抽象層聯盟。AWS Trainium 3、TPU v6、Tenstorrent 這些並非要威脅 Nvidia 的矽片生意,而是威脅它的「AI Factory」敘事——若客戶開始接受「推論用自研晶片、訓練用 Nvidia」的混合架構,Nvidia 的毛利率會被壓縮。
CUDA 真正的威脅也可能來自 Triton 這種跨廠商抽象層。Triton 已被 OpenAI 內部全員使用多年,最近開始向 AMD/Intel 開放。若 Triton 成為新的「PyTorch 後端」,Nvidia 的 cuDNN/NCCL 綁定就被解耦了。這是慢變數,但方向值得關注。
不確定的地方:Nvidia 自己也看到了這一點,所以一直在推 NIM、Megatron-Core(大型語言模型訓練框架)等更高層的鎖定點。未來兩年看誰先把「開發者心理預設技術堆疊」搶下來——是 Triton 還是 NIM,會決定 2028 年的格局。