实战

Apple M3 ANE 被自家 RTL bug 砍掉 60% 带宽:2.4 倍加速是这样挤出来的

有人在 M3 的神经网络引擎里挖出一个 RTL 层的硬伤——DRAM 权重流式带宽从 45-60 GB/s 被压到 17-19 GB/s。改一行 prefetch 路径,本地 LLM 推理直接快 2.4 倍。

字号

端侧跑 LLM 的人都遇到过这种场景:模型小、Mac 性能强、理论带宽看着漂亮,但实测 token 吞吐就是上不去。有人在 M3 上做了一次认真的反向工程,找到了根因——一个 RTL 层的 hardware erratum,把 ANE 的有效带宽直接砍到了标称的 1/3。

这件事有意思。改了一行 prefetch 路径之后,Llama 3.2 1B 从 10 tokens/s 蹦到 24.3 tokens/s。

来源:eiln.github.io/posts/ane-dma.html(HN 上 142 分、27 条讨论)

问题:ANE 带宽只跑出标称的三分之一

M3 ANE 的标称 DRAM 流式带宽是 45–60 GB/s。听起来很美,足够把 1B 模型的速度推到 40+ tokens/s。

eiln 实测下来的数字是:17–19 GB/s。

直接把 Llama 3.2 1B 压到 10.0 tokens/s。这是把 1B 模型跑在 Mac Studio M3 上的数字,本应该轻松翻倍。

他做的不是性能调优,是微架构级的 root cause 分析。结论是:这不是 Metal API 没配对,不是驱动 bug,是 RTL 层的 hardware erratum——写死在硅片里的性能 bug。

不是驱动,是 RTL 层的 erratum

先讲一下背景。ANE 加载权重是流式的:模型太大塞不进片上 SRAM,所以从 DRAM 一块一块往 ANE 的本地 buffer 喂。

这套机制靠一个推测性预取环(speculative prefetch ring)来掩盖 DRAM 延迟。环上每个 slot 对应一个候选行地址,ANE 根据当前的访存模式"猜"下一行在哪,提前 fetch 到内部 buffer。

问题出在这:环上的某些路径在 M3 这代 silicon 里有个 RTL bug。具体来说,当 prefetch 跨过一个特定的 address-aligned boundary 时,状态机会进入一个无效转移,结果是那次预取的数据要等到下一次 ring wraparound 才能被用到——延迟直接乘以 ring depth。

对最终吞吐的影响:

  • 名义带宽:45–60 GB/s
  • 实测带宽:17–19 GB/s
  • 损失:~60%

驱动层和 Metal API 都救不了,因为路径是硬件决定的。Apple 没在公开文档里写过这件事,但 eiln 的 microbench 已经把它定位到具体的 RTL 状态机转移上。

绕路方案:让 prefetch 不走那条坏掉的 path

既然不能修硬件,那就绕过去。

eiln 的做法是在 DMA 引擎的 prefetch ring 里禁用触发问题转移的路径。具体改了一行 prefetch hint,把 DMA 流的地址对齐策略从"自然对齐"改成"强制 4KB 对齐 + 跳过特定 stride"。

效果:

指标 修前 修后
Llama 3.2 1B 吞吐 10.0 tokens/s 24.3 tokens/s
ANE 有效 DRAM 带宽 17–19 GB/s ~40 GB/s
加速比 1× 2.43×

代码层面,他给出了一个最小复现的 kernel stub(简化版):

// 关键改动:强制 prefetch hint 走避开 RTL bug 的路径
ane_dma_descriptor_t desc = {
    .src_addr = weight_ptr,
    .length   = tile_bytes,
    .stride   = ALIGN_TO_4KB,           // 强制 4KB 对齐
    .prefetch_mode = ANE_PF_SAFE_PATH,  // 关键:禁用跨边界预取
    .ring_slot_mask = 0x0E,             // 跳过触发 bug 的 slot
};
ane_submit_dma(&desc);

(实际寄存器定义以 ANE 的私有 SDK 为准,eiln 原文里有完整的 microbench 代码。)

这个改动的影响范围是所有走 ANE 流式加载的推理工作负载——包括任何用 Core ML / MLX 跑 ANE 后端的小模型。换句话说,你现在在 M3 上跑的所有端侧 LLM benchmark,多半都在这个被削过的带宽下测的。

对端侧 LLM 部署意味着什么

这件事有三个层面的影响。

第一,公开的微架构级性能分析极度稀缺。 消费级 SoC 的 AI 加速器不像 NVIDIA GPU 有那么多公开的 PTX/SASS 层面的分析。ANE 更是黑盒——Apple 从来不发微架构白皮书。这次 eiln 给出的,是第一份针对 ANE DMA 子系统的深度 RTL 行为分析。

第二,端侧 LLM 部署的瓶颈经常不在模型侧。 大家讨论"1B 还是 3B"、"量化到 int4 还是 int8",但没人讨论"ANE 实际能给你多少带宽"。如果硬件自己就砍掉 60%,你再调模型也是事倍功半。

第三,这意味着社区需要绕过这个 bug 的标准做法。 Apple 大概率不会公开承认这个 erratum(它不影响正确性,只影响性能),也不会出补丁。MLX、Core ML、llama.cpp 的 ANE 后端如果想榨干 M3/M4 的性能,得自己实现"safe path"逻辑。

编辑思考

硬件 errata 通常在数据中心 GPU 上被曝光——H100 的 HBM3 通道问题、A100 的 PCIe 链路降速,都是大客户跑大 workload 时被发现的,最后 Intel/AMD/NVIDIA 公开承认、发补丁。

这次不一样。这是一个消费级 SoC 的 AI 加速器,而且受害场景正好是当下最热的端侧 LLM 推理。换句话说,受影响的不是某个大厂的某个云端训练任务,是每一个在 MacBook 上跑本地模型的人。

更深一层:这件事揭示了一个被低估的事实——端侧 AI 加速器的成熟度还远不如云端 GPU。云端 GPU 周围有大量做 kernel optimization、性能分析、benchmark 复现的工程师,ANE 周围几乎只有 Apple 自己。即使有 MLX 这种开源框架,微架构层的优化空间仍然大量未被探索。

我的预测:接下来 6 个月,会有更多类似的"硬件性能 bug 在端侧 AI 工作负载下被曝光"的案例。M4 如果出了类似问题,Apple 大概率还是会保持沉默,但社区会自己挖出来——eiln 这篇文章就是模板。

不确定的地方:eiln 的 microbench 是在 M3 Max 上跑的,普通 M3 / M3 Pro 是否同问题、问题路径的具体地址 stride 是多少,这些细节原文没有完全展开。如果你想复现,建议直接读 原文。

来源: https://eiln.github.io/posts/ane-dma.html