실전

Apple M3 ANE, 자체 RTL 버그로 대역폭 60% 손실 — 2.4배 가속은 이렇게 뽑아냈다

M3 신경망 엔진에서 RTL 레벨 하드웨어 결함이 발견됐다. DRAM 가중치 스트리밍 대역폭이 45–60 GB/s에서 17–19 GB/s로 떨어졌고, prefetch 경로 한 줄을 바꿨을 때 로컬 LLM 추론이 2.4배 빨라졌다.

글자 크기

온디바이스 LLM을 돌려본 사람이라면 한 번씩 겪는 상황이다. 모델은 작은데, Mac은 빠르다고, 이론 대역폭도 넉넉한데, 실제 토큰 처리량은 절대 안 오른다. M3에서 정식 리버스 엔지니어링을 진행한 누군가가 원인을 찾아냈다. RTL 레벨의 하드웨어 erratum이 ANE의 실효 대역폭을 명목값의 1/3로 깎아내리고 있었다.

재미있는 건 여기서부터다. prefetch 경로 한 줄을 수정한 결과, Llama 3.2 1B가 10 tokens/s에서 24.3 tokens/s로 껑충 뛰었다.

출처: eiln.github.io/posts/ane-dma.html (HN 142점, 댓글 27개)

문제: ANE 대역폭이 명목치의 3분의 1

M3 ANE의 DRAM 스트리밍 대역폭 스펙은 45–60 GB/s다. 숫자만 보면 1B 모델을 40 tokens/s 이상으로 밀어줄 수 있는 수준이다.

eiln이 실측한 숫자는 17–19 GB/s였다. 그 결과 Llama 3.2 1B가 10.0 tokens/s에 묶여버렸다. Mac Studio M3에서 1B 모델을 돌렸을 때의 값인데, 정상이라면 최소 두 배는 나와야 한다.

이건 성능 튜닝이 아니라 마이크로아키텍처 레벨의 근본 원인 분석이다. 결론: Metal API 설정 문제가 아니고, 드라이버 버그도 아니고, RTL 레벨의 하드웨어 erratum이다. 실리콘에 박혀 있는 성능 버그다.

드라이버 문제가 아니라 RTL erratum이다

배경부터 짚자. ANE는 가중치를 스트리밍 방식으로 로드한다. 모델이 너무 커서 온칩 SRAM에 다 못 들어가니까, DRAM에서 ANE의 로컬 버퍼로 한 조각씩 떠 온다.

이 메커니즘은 추측적 프리페치 링(speculative prefetch ring)으로 DRAM 레이턴시를 숨긴다. 링의 각 슬롯은 후보 라인 주소에 대응되고, ANE는 현재 메모리 접근 패턴을 보고 다음 라인을 "맞춰봐서" 내부 버퍼로 미리 가져온다.

문제는 여기서 터진다. M3 세대 실리콘에서 링의 특정 경로에 RTL 버그가 있다. 구체적으로는, 프리페치가 특정 address-aligned boundary를 넘을 때 상태 머신이 무효 전이(invalid transition)로 빠진다. 그 결과 해당 프리페치 데이터는 다음 ring wraparound이 돌아올 때까지 사용되지 못한다. 레이턴시가 사실상 ring depth만큼 곱해진다.

최종 처리량에 미치는 영향:

  • 명목 대역폭: 45–60 GB/s
  • 실측 대역폭: 17–19 GB/s
  • 손실: 약 60%

경로 자체가 하드웨어로 고정돼 있어서 드라이버나 Metal API로 손댈 수 없다. Apple은 공개 문서에 이 내용을 한 번도 언급한 적이 없지만, eiln의 microbench는 이미 구체적인 RTL 상태 머신 전이까지 추적했다.

우회 방법: 문제가 있는 경로를 피해서 prefetch 시키기

하드웨어를 고칠 수는 없으니 피해서 돌아간다.

eiln의 접근은 DMA 엔진의 prefetch ring에서 문제가 되는 전이를 트리거하는 경로를 비활성화하는 것이었다. 구체적으로는 prefetch hint를 한 줄 바꿔서, DMA 스트림의 주소 정렬 정책을 "자연 정렬"에서 "4KB 강제 정렬 + 특정 stride 건너뛰기"로 전환했다.

결과:

  • Llama 3.2 1B 처리량: 10.0 tokens/s → 24.3 tokens/s
  • ANE 실효 DRAM 대역폭: 17–19 GB/s → 약 40 GB/s
  • 가속 비율: 1× → 2.43×

코드 레벨에서 그는 최소 재현용 kernel stub을 공개했다 (축약 버전):

// 핵심 변경: prefetch hint를 RTL 버그를 우회하는 경로로 강제한다
ane_dma_descriptor_t desc = {
    .src_addr = weight_ptr,
    .length   = tile_bytes,
    .stride   = ALIGN_TO_4KB,           // 4KB 정렬 강제
    .prefetch_mode = ANE_PF_SAFE_PATH,  // 핵심: 경계 넘나드는 프리페치 비활성화
    .ring_slot_mask = 0x0E,             // 버그 유발 슬롯 스킵
};
ane_submit_dma(&desc);

(실제 레지스터 정의는 ANE 비공개 SDK 기준이며, 전체 microbench 코드는 eiln 원문 참고.)

이 변경의 영향 범위는 ANE 스트리밍 로드를 사용하는 모든 추론 워크로드다. Core ML / MLX에서 ANE 백엔드로 동작하는 소형 모델 전부 포함이다. 바꿔 말하면 지금 M3에서 돌리고 있는 모든 온디바이스 LLM 벤치마크는 이 깎인 대역폭 위에서 측정한 값일 가능성이 높다.

온디바이스 LLM 배포에 대한 함의

이건 세 가지 레벨에서 시사점이 있다.

첫째, 공개된 마이크로아키텍처 레벨 성능 분석이 극도로 희소하다. 소비자용 SoC의 AI 가속기는 NVIDIA GPU처럼 PTX/SASS 레벨 분석이 풍부하지 않다. ANE는 더해서 블랙박스다. Apple이 마이크로아키텍처 백서를 공개한 적이 없다. 이번 eiln의 분석은 ANE DMA 서브시스템을 깊게 파고든 첫 번째 RTL 행동 분석이다.

둘째, 온디바이스 LLM 배포의 병목은 모델 쪽이 아닐 때가 많다. "1B냐 3B냐", "int4냐 int8이냐"는 모두가 이야기하지만, "ANE가 실제로 얼마나 대역폭을 줄 수 있는가"는 아무도 이야기하지 않는다. 하드웨어 자체가 60%를 깎아내는데 모델을 아무리 만져봐야 효율은 반감된다.

셋째, 커뮤니티가 이 버그를 우회하는 표준 방식을 만들어야 한다. Apple은 이 erratum을 (정확성에는 영향이 없고 성능만 깎는 만큼) 공식 인정하지 않을 가능성이 높고, 패치도 내지 않을 것이다. M3/M4의 성능을 끝까지 뽑아내려면 MLX, Core ML, llama.cpp의 ANE 백엔드가 직접 "safe path" 로직을 구현해야 한다.

편집자 소견

하드웨어 errata는 보통 데이터센터 GPU에서 폭로된다. H100의 HBM3 채널 이슈, A100의 PCIe 링크 열화 같은 것들이 대고객이 대규모 워크로드를 굴리다 발견하고, 결국 Intel/AMD/NVIDIA가 공식 인정 후 패치를 내는 식이었다.

이번 케이스는 다르다. 소비자용 SoC의 AI 가속기인데다, 정확히 지금 가장 뜨거운 온디바이스 LLM 추론이 피해 시나리오다. 영향을 받는 건 어느 대기업의 클라우드 학습 작업이 아니라 MacBook에서 로컬 모델을 굴리는 모든 개인이다.

한 걸음 더 들어가면, 이 사례는 과소평가된 사실을 드러낸다. 온디바이스 AI 가속기의 성숙도는 아직 클라우드 GPU에 한참 못 미친다. 클라우드 GPU 주변에는 커널 최적화, 프로파일링, 벤치마크 재현 엔지니어가 우글거리지만, ANE 주변에는 Apple 자신밖에 없다. MLX 같은 오픈소스 프레임워크가 있어도 마이크로아키텍처 레벨 최적화 공간은 여전히 대부분 미개척 상태다.

내 예측: 앞으로 6개월 안에 "온디바이스 AI 워크로드에서 드러난 하드웨어 성능 버그" 사례가 더 나올 것이다. M4에 비슷한 이슈가 있어도 Apple은 침묵을 유지할 가능성이 높지만, 커뮤니티가 스스로 파헤칠 것이다. eiln의 글이 그 템플릿이다.

불확실한 부분: eiln의 microbench는 M3 Max에서 수행됐다. 일반 M3 / M3 Pro에서도 동일한 문제가 있는지, 문제 경로의 구체적 주소 stride가 어떤 값인지는 원문에서 완전히 다루지 않았다. 직접 재현을 고려한다면 원문을 정독하는 편이 낫다.

출처: https://eiln.github.io/posts/ane-dma.html