ローカルで LLM を回している人間なら、一度は経験したことがあるはずだ。モデルは小さい、Mac は高性能、理論上の帯域も十分。それなのに实测のトークン throughput が思うように伸びない。M3 で丁寧なリバースエンジニアリングを行った人物が、その根本原因を突き止めた。RTL 層に潜むハードウェア erratum が、ANE の実効帯域を公称値の 3 分の 1 まで削っていたのだ。
この事例は興味深い。prefetch 経路を一行書き換えただけで、Llama 3.2 1B の速度は 10 tokens/s から 24.3 tokens/s まで跳ね上がった。
出典: eiln.github.io/posts/ane-dma.html (HN で 142 ポイント、コメント 27 件)
問題: ANE の帯域は公称値の 3 分の 1 しか出ない
M3 ANE の公称 DRAM ストリーミング帯域は 45〜60 GB/s。数字だけ見れば、1B モデルを 40 tokens/s 以上に押し上げるのも夢ではない。
ところが eiln が実測した値は 17〜19 GB/s。そのまま Llama 3.2 1B の速度を 10.0 tokens/s まで叩き落としている。これは Mac Studio M3 上で 1B モデルを動かした数字であり、本来なら楽勝で倍速が出るはずの構成だ。
彼が行ったのは単なるパフォーマンスチューニングではない。マイクロアーキテクチャレベルの root cause 分析だった。結論はこうだ。Metal API の設定ミスでも、ドライバのバグでもない。RTL 層に埋め込まれた シリコンに焼き付いた性能バグ である。
犯人はドライバではなく RTL の erratum
まず背景から説明する。ANE は重みをストリーミングでロードする。モデルが大きすぎてオンチップ SRAM に乗り切らないため、DRAM からブロック単位で ANE のローカルバッファへ順次送り込む方式だ。
この仕組みは speculative prefetch ring と呼ばれる投機的プリフェッチ機構で DRAM レイテンシを隠蔽している。ring 上の各スロットは候補となる行アドレスに対応し、ANE は現在のメモリアクセスパターンから「次の行」を推測し、内部バッファへ先行 fetch する。
問題はここにある。ring 上の特定の経路に M3 世代のシリコンで RTL バグが存在する。具体的には、prefetch が特定の address-aligned boundary をまたぐとき、状態マシンが無効な遷移を起こしてしまう。結果として、その回のプリフェッチで取得したデータは次の ring wraparound まで使われず、レイテンシが ring depth 倍に膨れ上がる。
最終的なスループットへの影響:
- 公称帯域: 45〜60 GB/s
- 実測帯域: 17〜19 GB/s
- 損失: 約 60%
ドライバ層や Metal API では救えない。経路はハードウェアに固定されているからだ。Apple は公開ドキュメントでこの件について言及していないが、eiln のマイクロベンチは問題を RTL 状態マシンの特定の遷移まで特定している。
回避策: prefetch を壊れた経路から迂回させる
ハードウェアは直せない。ならば 迂回する しかない。
eiln が取った方法は、DMA エンジンの prefetch ring 内で 問題を引き起こす遷移を無効化 することだ。具体的には prefetch hint を一行書き換え、DMA ストリームのアドレス整列戦略を「自然整列」から「強制 4KB 整列 + 特定 stride のスキップ」へ変更した。
効果は次のとおり:
| 指標 | 修正前 | 修正後 |
|---|---|---|
| Llama 3.2 1B スループット | 10.0 tokens/s | 24.3 tokens/s |
| ANE 実効 DRAM 帯域 | 17〜19 GB/s | 約 40 GB/s |
| スピードアップ | 1× | 2.43× |
コードレベルでは、最小限の再現カーネルスタブが提示されている (簡略版):
// 关键改动:强制 prefetch hint 走避开 RTL bug 的路径
ane_dma_descriptor_t desc = {
.src_addr = weight_ptr,
.length = tile_bytes,
.stride = ALIGN_TO_4KB, // 强制 4KB 对齐
.prefetch_mode = ANE_PF_SAFE_PATH, // 关键:禁用跨边界预取
.ring_slot_mask = 0x0E, // 跳过触发 bug 的 slot
};
ane_submit_dma(&desc);
(レジスタ定義は ANE のプライベート SDK に依存する。完全なマイクロベンチコードは eiln の原文を参照。)
この変更の影響範囲は、ANE のストリーミングロードを利用するすべての推論ワークロード に及ぶ。Core ML / MLX で ANE バックエンドを動かす小型モデルも例外ではない。言い換えれば、今 M3 上で計測されているすべてのオンデバイス LLM ベンチマークは、おそらくこの削られた帯域の下で測定されていることになる。
オンデバイス LLM デプロイへの含意
この事象には 3 つのレベルでの影響がある。
第一に、マイクロアーキテクチャレベルの性能分析が極端に不足している。民生向け SoC の AI アクセラレータは、NVIDIA GPU のように PTX/SASS レベルで公開されている情報が乏しい。ANE は特にブラックボックスであり、Apple はマイクロアーキテクチャのホワイトペーパーを一切公開していない。今回 eiln が提示したのは、ANE DMA サブシステムを対象とした最初の深い RTL 挙動解析 だ。
第二に、オンデバイス LLM デプロイのボトルネックはモデル側にないことが多い。「1B か 3B か」「int4 か int8 か」といった議論は盛んだが、「ANE が実際に供給できる帯域はいくらか」という議論はほぼ聞こえてこない。ハードウェア側で 60% も削られているなら、モデルをいくら弄っても費用対効果は薄い。
第三に、コミュニティはバグ回避の標準手法を必要としている。Apple がこの erratum を公式に認める可能性は低い (正しさは損なわないが性能のみに影響する)。まして修正パッチが出る望みはさらに薄い。MLX、Core ML、llama.cpp の ANE バックエンドが M3/M4 の性能を引き出したいなら、自前で「safe path」ロジックを実装する必要がある。
編集部の考察
ハードウェア errata はこれまでデータセンター GPU で主に発覚してきた。H100 の HBM3 チャネル問題、A100 の PCIe リンク低下、いずれも大規模顧客が大規模ワークロードを走らせて見つかり、最終的に Intel/AMD/NVIDIA が公式に認めてパッチを出している。
今回の事例はそれとは異なる。これは 民生向け SoC の AI アクセラレータ であり、しかも 被害を受けるシナリオはまさに今最もホットなオンデバイス LLM 推論 だ。影響を受けるのは、とあるベンダーのクラウド学習ジョブではない。MacBook でローカルモデルを動かすすべてのユーザーである。
さらに踏み込めば、この事象はある過小評価されている現実を照らし出している。エッジ AI アクセラレータの成熟度はクラウド GPU に遠く及ばない という現実だ。クラウド GPU の周りには kernel optimization や性能分析、ベンチマーク再現を行うエンジニアが大勢いるが、ANE の周りには Apple 自身しかいない。MLX のようなオープンソースフレームワークがあっても、マイクロアーキテクチャ層の最適化余地はまだ大量に手つかずで残っている。
筆者の予測: 向こう 6 ヶ月のうちに、「ハードウェア性能バグがエッジ AI ワークロードで発覚する」という同様の事例が増えるだろう。M4 で似た問題が出ても、Apple はおそらく沈黙を守るだろう。だがコミュニティが自力で掘り起こす。eiln のこの記事はそのテンプレートだ。
不確定な点: eiln のマイクロベンチは M3 Max 上で実施されている。一般的な M3 / M3 Pro でも同じ問題が発生するのか、問題経路の具体的なアドレス stride は何か、原文では完全には詰められていない。再現を試みたい場合は 原文 を直接読むことを勧める。