實戰

Apple M3 ANE 自帶 RTL bug 砍掉六成頻寬:一行程式碼榨出 2.4 倍加速

有人在 M3 神經網路引擎挖出 RTL 層缺陷,DRAM 權重串流頻寬從 45–60 GB/s 腰斬至 17–19 GB/s。改寫一行 prefetch 路徑後,本地 LLM 推論速度直接躍升 2.4 倍。

字級

在端側跑 LLM 的人大概都碰過這種狀況:模型不大、Mac 效能強、原廠頻寬數字漂亮,實際跑出來的 token 吞吐就是上不來。有人對 M3 做了一次徹底的反向工程,找出真正的瓶頸——一個藏在 RTL 層的 hardware erratum,直接把 ANE 的有效頻寬壓到標稱值的三分之一。

這件事耐人尋味。只改了一行 prefetch 路徑,Llama 3.2 1B 的速度就從 10 tokens/s 跳到 24.3 tokens/s。

資料來源:eiln.github.io/posts/ane-dma.html(HN 142 分、27 則討論)

問題:ANE 頻寬只剩標稱的三分之一

M3 ANE 標稱的 DRAM 串流頻寬是 45–60 GB/s。帳面數字很漂亮,理論上足以把 1B 模型推到 40+ tokens/s。

eiln 實測出來的數字是:17–19 GB/s。

這個頻寬直接把 Llama 3.2 1B 壓到 10.0 tokens/s。這是 1B 模型跑在 Mac Studio M3 上的成績,理論上應該輕鬆翻倍才對。

他做的不是效能調校,而是微架構層級的 root cause 分析。結論很明確:這不是 Metal API 沒配對,也不是驅動 bug,而是 RTL 層的 hardware erratum——燒死在矽片裡的效能缺陷。

不是驅動問題,是 RTL 層的 erratum

先交代一下背景。ANE 載入權重是串流式的:模型太大塞不進晶片上的 SRAM,所以從 DRAM 一塊一塊餵進 ANE 的本地 buffer。

這套機制靠一個推測式預取環(speculative prefetch ring)來隱藏 DRAM 延遲。環上每個 slot 對應一個候選行地址,ANE 根據目前的記憶體存取模式「猜」下一行在哪裡,提前 fetch 進內部 buffer。

問題就出在這裡:環上某些路徑在 M3 這一代 silicon 有 RTL bug。具體來說,當 prefetch 跨過某個特定 address-aligned boundary 時,狀態機會走進一個無效轉移,結果那次預取的資料得等到下一次 ring wraparound 才能被用到——延遲直接乘以 ring depth。

對最終吞吐的影響:

  • 標稱頻寬:45–60 GB/s
  • 實測頻寬:17–19 GB/s
  • 損失:~60%

驅動層和 Metal API 都救不了,因為路徑是硬體決定的。Apple 從未在公開文件提過這件事,但 eiln 的 microbench 已經把問題釘到具體的 RTL 狀態機轉移上。

繞路方案:讓 prefetch 別走那條壞掉的路

硬體沒辦法修,那就繞過去。

eiln 的做法是在 DMA 引擎的 prefetch ring 裡關閉會觸發問題轉移的路徑。具體改了一行 prefetch hint,把 DMA 流的位址對齊策略從「自然對齊」改成「強制 4KB 對齊 + 跳過特定 stride」。

效果:

  • Llama 3.2 1B 吞吐:10.0 → 24.3 tokens/s
  • ANE 有效 DRAM 頻寬:17–19 → ~40 GB/s
  • 加速比:2.43×

程式碼層面,他給了一個最小重現的 kernel stub(簡化版):

// 關鍵改動:強制 prefetch hint 走避開 RTL bug 的路徑
ane_dma_descriptor_t desc = {
    .src_addr = weight_ptr,
    .length   = tile_bytes,
    .stride   = ALIGN_TO_4KB,           // 強制 4KB 對齊
    .prefetch_mode = ANE_PF_SAFE_PATH,  // 關鍵:關閉跨邊界預取
    .ring_slot_mask = 0x0E,             // 跳過觸發 bug 的 slot
};
ane_submit_dma(&desc);

(實際暫存器定義以 ANE 私有 SDK 為準,eiln 原文裡有完整的 microbench 程式碼。)

這個改動影響的範圍是所有走 ANE 串流載入的推論工作負載——包括任何用 Core ML / MLX 跑 ANE 後端的小模型。換句話說,你現在在 M3 上跑的所有端側 LLM benchmark,幾乎都是在這個被砍過的頻寬下測出來的。

對端側 LLM 部署的意義

這件事有三個層次的影響。

第一,公開的微架構層級效能分析極度稀缺。消費級 SoC 的 AI 加速器不像 NVIDIA GPU 有那麼多公開的 PTX/SASS 層級分析。ANE 更是黑盒——Apple 從來不發布微架構白皮書。這次 eiln 給出的,是第一份針對 ANE DMA 子系統的深度 RTL 行為分析。

第二,端側 LLM 部署的瓶頸常常不在模型端。大家討論「1B 還是 3B」、「量化到 int4 還是 int8」,卻沒人在談「ANE 實際給你多少頻寬」。如果硬體自己就砍掉 60%,模型端再怎麼調也是事倍功半。

第三,這代表社群需要繞過這個 bug 的標準做法。Apple 大概率不會公開承認這個 erratum(它不影響正確性,只影響效能),也不會發補丁。MLX、Core ML、llama.cpp 的 ANE 後端如果想榨乾 M3/M4 的效能,必須自己實作「safe path」邏輯。

編輯觀點

硬體 errata 通常在資料中心 GPU 上才會被攤在陽光下——H100 的 HBM3 通道問題、A100 的 PCIe 鏈路降速,都是大客戶跑大型工作負載時挖出來的,最後 Intel / AMD / NVIDIA 公開承認、發補丁。

這次不一樣。這是消費級 SoC 的 AI 加速器,而且受害情境正好是當前最熱的端側 LLM 推論。換句話說,受影響的不是某個大廠的某個雲端訓練任務,而是每一個在 MacBook 上跑本地模型的人。

再往深一層看:這件事揭露了一個被低估的事實——端側 AI 加速器的成熟度還遠不如雲端 GPU。雲端 GPU 周圍有大量做 kernel optimization、效能分析、benchmark 重現的工程師,ANE 周圍幾乎只剩 Apple 自己。即使有 MLX 這種開源框架,微架構層的優化空間仍有大量未探索之處。

我的預測:接下來 6 個月,會有更多「硬體效能 bug 在端側 AI 工作負載下被挖出來」的案例。M4 如果出類似問題,Apple 大概率還是會保持沉默,但社群會自己挖出來——eiln 這篇文章就是範本。

不確定的地方:eiln 的 microbench 是在 M3 Max 上跑的,一般 M3 / M3 Pro 是否也有同樣問題、問題路徑的具體地址 stride 是多少,這些細節原文沒有完全展開。想重現的話,建議直接讀原文。

來源: https://eiln.github.io/posts/ane-dma.html