觀點

Nvidia 護城河正在位移:比 GPU 更難撼動的是什麼?

黃仁勳手中的王牌已非 H200,而是 CUDA、DPU 與 AI Factory。競爭對手恐怕瞄錯了靶心。

字級

黃仁勳手中的王牌已非 H200,而是 CUDA、DPU 與 AI Factory。競爭對手恐怕瞄錯了靶心。

最近讀到一篇 TechCrunch 的報導,原標題很直接:Nvidia's AI advantage is moving beyond the GPU。讀完最大的感觸倒不是「Nvidia 又變強了」,而是——大多數競爭對手仍在打一場已經過時的仗。

GPU 單卡算力這件事,AMD 其實已快追上了。但 Nvidia 的護城河從來不在矽片上。


GPU 早就是 Nvidia 最弱的一環

先拋一個反直覺觀點:和 AMD/Intel 拼單卡 TOPS(每秒兆次運算),是當下最沒意義的競爭位置。

AMD MI300X 於 2023 年發表,記憶體頻寬和 H100 同個量級,FP16(半精度浮點)算力也咬得很緊。兩年過去了,客戶為何不大量轉向?

打開 PyTorch 原始檔看一眼:

# PyTorch 預設 tensor backend
import torch
x = torch.randn(1024, 1024).cuda()  # 不寫 .cuda() 也能跑,但預設走 CUDA
print(torch.backends.cudnn.version())  # cuDNN 版本

torch.cuda 是 PyTorch 的事實標準。這個 cuda 不是「N 卡能用」那麼簡單——它背後綁著 cuDNN(深度學習加速函式庫)、cuBLAS(線性代數函式庫)、NCCL(多卡通訊函式庫),以及十幾萬個算子的特定優化。AMD 想替換這個 cuda 呼叫,等於要把整個深度學習技術堆疊重新實作一遍。

MI300 算力追上來兩年了。PyTorch 預設 backend 還是 CUDA。

CUDA 才是真正的護城河

硬體可以追,軟體生態需要十年。

Nvidia 的 CUDA 不是單一產品,而是多組互相咬合的函式庫:

  • cuDNN:卷積、注意力、歸一化等深度學習基本操作的最佳實作
  • TensorRT:模型推論優化器(量化、kernel 融合)
  • NCCL:多卡/多機集合通訊,是分散式訓練的命脈
  • Triton(GPU 版):Nvidia 自行推出的中間層 kernel 語言

開發者黏性怎麼來的?當你在 PyTorch 裡寫 F.conv2d(x, w),底層會自動呼叫 cuDNN 中針對當前 GPU 架構手調的組合語言。這種「零成本」效能,遷移到 ROCm(AMD 的開源運算平台)就消失無蹤。

開源替代品有嗎?有。Triton、ROCm、Ascend C 都在追趕。但在生產環境跑通一個模型 demo,和在 1024 張卡上穩定訓練一個月,是兩回事。前者是週末就能搞定的事,後者需要一整個 SRE(網站可靠性工程)團隊盯穩定性。

DPU + NVLink:把戰場拉到網路層

CUDA 是軟體層,Nvidia 的第二道護城河在網路。

一台 8 卡 H200 節點的真實瓶頸是什麼?不是算力,是 GPU 之間互相溝通的速度。NVLink 單代际带宽從 900GB/s 漲到現在的 1.8TB/s,這個數字 AMD 的 Infinity Fabric 和 Intel 的 Xe Link 都還差一個數量級。

更狠的是 BlueField DPU(資料處理器)。Nvidia 把網卡、儲存控制器、安全引擎全部整合進一顆搭載 Arm 核心的 SoC(系統單晶片)裡。意思是:

  • 資料從儲存到 GPU 的路徑上,CPU 不再參與資料搬運
  • 集合通訊卸載到 DPU,主 GPU 只管運算
  • 多租戶隔離、安全加密全在硬體層完成

這套打法 Intel/AMD 基本上沒有對應產品。Intel 的 IPU 與 AMD 的 Pensando 仍在追趕,差距是以年為單位計算。

AI Factory:Nvidia 不賣卡了,改賣整座工廠

最被低估的變化,是 Nvidia 的商業模式。

以前客戶買的是 A100/H100,現在買的是 DGX SuperPOD、Foundry、NIM 微服務。一份典型合約長這樣:

# NIM (Nvidia Inference Microservice) 部署示意
from nvidia.nim import Llama3_8B_Instruct

model = Llama3_8B_Instruct(
    gpu="H200-80GB",
    replicas=8,         # 8 卡張量並行
    precision="bf16",   # 腦浮點 16
    max_batch_size=64,
)
response = model.generate("解釋一下 NVLink 通訊協定")

客戶不需要懂 NCCL 初始化、不需要設定 RDMA(遠端直接記憶體存取)網卡、不需要寫 CUDA kernel。一鍵啟動,就是一個可用於生產的推論服務。

轉換成本從「換張卡」變成「換掉整套 SRE 流程」。前者是百萬元等級,後者是億元等級。這就是為何客戶嘴上抱怨 Nvidia 貴,身體卻很誠實。

中國廠商的誤區:還在追單卡算力

國內這一波 AI 晶片熱潮,寒武紀、海光、摩爾線程都在捲 FP16/INT8(整數 8 位)算力對標。這是必要動作,但遠非充分動作。

真正的問題是:CUDA 生態在國內幾乎是一片空白。

開發者要的不是「能跑 PyTorch」——CUDA 上能跑 PyTorch 已經 10 年了。他們要的是「跑得一樣快、跑得一樣穩、bug 一樣少」。這需要:

  1. 對上游 PyTorch 貢獻者深度綁定(不是 fork,而是能進入 main branch)
  2. 主流大型模型(Llama、Qwen、DeepSeek)官方支援
  3. 叢集穩定性跑滿 30 天零 crash 的工程能力

硬體對標容易,生態對標難。這是國內廠商未來 3 年最深的護城河缺口。

編輯思考

這件事為何重要?因為它重新定義了「AI 晶片公司」的護城河。

過去十年大家預設「更好的晶片 = 更好的護城河」。Nvidia 用十幾年證明了軟體、網路、系統整合這三層的複合優勢,遠比單卡算力更難撼動。

我的判斷:未來 3 年 Nvidia 最危險的對手不是 AMD/Intel,而是雲端業者自研晶片 + 軟體抽象層聯盟。AWS Trainium 3、TPU v6、Tenstorrent 這些並非要威脅 Nvidia 的矽片生意,而是威脅它的「AI Factory」敘事——若客戶開始接受「推論用自研晶片、訓練用 Nvidia」的混合架構,Nvidia 的毛利率會被壓縮。

CUDA 真正的威脅也可能來自 Triton 這種跨廠商抽象層。Triton 已被 OpenAI 內部全員使用多年,最近開始向 AMD/Intel 開放。若 Triton 成為新的「PyTorch 後端」,Nvidia 的 cuDNN/NCCL 綁定就被解耦了。這是慢變數,但方向值得關注。

不確定的地方:Nvidia 自己也看到了這一點,所以一直在推 NIM、Megatron-Core(大型語言模型訓練框架)等更高層的鎖定點。未來兩年看誰先把「開發者心理預設技術堆疊」搶下來——是 Triton 還是 NIM,會決定 2028 年的格局。

原文:Nvidia's AI advantage is moving beyond the GPU

來源: https://techcrunch.com/2026/08/29/nvidias-ai-advantage-is-moving-beyond-the-gpu/