⚠️ DRAFT — 사실 검증 이슈 미해결, 아래 issues 참조
MacStories의 Federico Viticci가 최근 올린 리뷰 제목이 정확히 이거다 — The Dream Mac for Local AI Agents. 지난주 토요일 Hacker News 1면에 떴고, 82점 · 댓글 39개.
이 글은 보통 하드웨어 리뷰와 결이 다르다. Viticci는 한동안 macOS + Apple Silicon의 실제 생산성 시나리오를 추적해왔는데, 이번 평가는 Agent를 실제로 돌려보는 관점에서 진행됐다 — 영상 편집이 아니고, Xcode 빌드도 아니고, LLM + 도구 호출을 로컬에서 굴렸을 때 M5 Ultra가 버텨내느냐를 본 것이다.
왜 Mac Studio가评测 대상으로 잡혔나
M5 Ultra가 Mac Studio에 올라탄 포지셔닝은, Apple 보도자료에서宣传하는 그것과 전혀 다른 결이다. Apple은 “크리에이티브 작업자”, “영상 편집”, “음악 제작”을 강조하는데 — 이건 전통적인 소비자 시장 이야기다.
그런데 HN에서의 논의 결은 분명히 다른 곳을 향한다. 사용자들이关心하는 건:
- 70B 모델을 로컬에서 진짜로 돌릴 수 있느냐
- 여러 단계의 Agent 도구 호출에서 지연이 얼마나 누적되느냐
- 컨텍스트 윈도우 전체를 담아낼 메모리가 충분하느냐
- 인터넷 끊긴 상황에서도 워크플로를 끝까지 완수할 수 있느냐
왜 Mac Pro가 아니라 Mac Studio인가. 현재 Mac Pro는 Intel Xeon + AMD GPU 조합을 쓰고 있어서, Apple Silicon의 이점을 하나도 못 가져간다. Mac Studio가 Apple Silicon 라인업 중 데스크톱에서 손에 닿는 최고 사양이다.
Viticci 리뷰가 짚는痛点은 단순하다 — 구름 API가 공짜가 아니고, 데이터가 외부로 한 번 나가야 한다. 이 두 가지가 소규모 팀과 개인 개발자에서 특히 예민한 이슈다.
통합 메모리 아키텍처가 진짜 셀링 포인트
M5 Ultra의 192GB 통합 메모리 구성은 영상 편집용이 아니다 — 편집 작업은 이 정도 메모리 풀이 필요 없고, 8K RAW조차 피크 수십 GB 정도면 충분하다.
이 구성을 실제로 먹는 건 LLM 추론이다.
구름 GPU는 기본 80GB显存부터 시작하고, A100 · H100 모두 그 정도 스케일이잖아. 70B 모델(FP16 약 140GB, INT4 양자화 후 약 40GB)을 일반 가정에서 돌리려면 전통적인 “CPU + 독립 GPU” 구조로는 답이 안 나온다 — 显存과 메모리 사이를 PCIe로 넘겨야 하니 대역폭이 수십 GB/s에서 막힌다.
Apple Silicon의 통합 메모리 아키텍처는 이 문제를 아예 우회한다. CPU · GPU · Neural Engine이 한 메모리 풀을 공유하고, 대역폭이 수백 GB/s에 달한다(M5 Ultra 공개 스펙 기준 메모리 대역폭 819 GB/s).
이게 의미하는 바는:
- 192GB 메모리에서 GPU가 거의 192GB를 显存처럼 쓸 수 있다
- 70B 모델 INT4 양자화 버전을 통째로 올릴 수 있다
- CPU와 GPU 간 데이터 복사가 필요 없다
들어보면 아름답지만, 통합 메모리가 만능은 아니다. MLX 프레임워크가 충분히 성숙해졌고 llama.cpp도 Metal 백엔드를 지원하지만, Apple Silicon GPU의 컴퓨트 처리량은 NVIDIA H100과 비교하면 아직 차원이 다르다. 이 부분은 뒤에서 계산해 본다.
로컬 Agent를 돌리면, 어디서 느려지나
Agent 경험의 체감을 결정하는 숫자는 세 가지다:
- 추론 속도(tokens/s) — 생성 속도
- 첫 토큰 지연(TTFT, Time To First Token) — 반응감
- 여러 단계 도구 호출의 누적 소요 시간 — Agent 10스텝이 1스텝보다 얼마나 느린가
세 번째가 가장 결정적이다. Agent는 단순 Q&A가 아니라 “LLM 사고 → 도구 호출 → 결과 수신 → 다시 사고”의 루프다. 매 스텝의 지연이 누적된다.
커뮤니티 벤치마크의 참고 숫자(Mac Studio M2 Ultra, MLX 백엔드, llama.cpp 양자화 버전):
- Llama 3 70B Q4 양자화: 약 8–12 tokens/s
- Mistral Large Q4: 약 6–10 tokens/s
- 첫 토큰 지연: 300–800ms
M5 Ultra는 M2 Ultra 대비 약 30–50% 빠르다(CPU/GPU 코어 수와 메모리 대역폭 모두 업그레이드). 70B Q4가 15–18 tokens/s까지 나올 수 있다는 건 낙관적 추정이다.
이 속도는 돌아는 간다 수준이지, 쾌적하진 않다. 대화형 인터랙션은勉强 받아들일 만하고, Agent가 도구 호출을 줄줄이 실행하는 워크플로(예: 검색 → 파일 읽기 → API 호출 → 요약)에서는 구름 대비 5–10배 느릴 수 있다.
NVIDIA H100이 같은 모델을 Q4 양자화로 돌리면 80–150 tokens/s가 나온다. 한 자리 차원이다. 3090/4090 같은 소비자용 NVIDIA 카드는, 24GB 显存에 양자화 70B를 돌리고 CUDA 생태계가 성숙하다는 점에서 Apple Silicon보다 부드럽다 — 다만 Linux와 삽질 능력은 필수다.
# MLX로 로컬 Llama 3 돌리는 최소 예제 (Mac Studio)
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3-70B-Instruct-4bit")
response = generate(
model,
tokenizer,
prompt="用三句话解释什么是 Agent",
max_tokens=200,
temp=0.7
)
print(response)
위는 MLX 공식 저장소의 예제 코드로, 192GB 통합 메모리를 단 M5 Ultra에서 그대로 돌아간다(70B 4bit 양자화 시 약 40GB 점유).
탈구름의 실제 비용 계산
풀 구성 M5 Ultra Mac Studio(192GB 메모리) 미국 공식 가격은 약 $8,000 내외(세금 포함 전).
구름 API로 계산해 보자:
- GPT-4o: 입력 $2.50/M tokens, 출력 $10/M tokens
- Claude Sonnet 4.5: 입력 $3/M tokens, 출력 $15/M tokens
- DeepSeek V3: 입력 $0.27/M tokens(캐시 히트), 출력 $1.10/M tokens
전형적인 Agent 워크플로 하나(예: Claude에게 파일 5개 읽고, API 3개 조회하고, 요약 보고서 생성)의 단일 소모량:
- 입력 50K tokens(파일 읽기 + 도구 결과)
- 출력 5K tokens(요약 + 도구 호출 결정)
Claude Sonnet 4.5 가격 기준:
입력: 50K × $3/M = $0.15
출력: 5K × $15/M = $0.075
단일 비용 ≈ $0.225
하루에 이런 워크플로를 50번 돌린다면:
월 비용 = 50 × 30 × $0.225 ≈ $337
1년이면 약 $4,050.
풀 구성 Mac Studio 가격의 절반도 안 된다. 거기다 MLX 호환 코드를 쓸 필요도 없고, 로컬 추론을 기다릴 필요도 없고, 메모리 부족에 시달릴 일도 없다.
DeepSeek V3를 쓴다면(API 가격이 10배 이상 싸다) 1년 구름 비용이 $500도 안 든다. 이 사용 강도에서 로컬화의 회수 기간은 약 2년이고, 그건 구름을 완전히 안 쓴다는 전제 하에 그렇다 — 실제로는 아무도 완전히 탈구름할 수 없다, 왜냐하면:
- 초대형 컨텍스트(200K+ tokens)는 로컬에서 감당이 안 된다
- 로컬 모델은 복잡한 추론에서 여전히 GPT-5, Claude 4.5에 한 수 아래다
- 멀티모달(이미지 인식, PDF 읽기)에서 로컬 모델 지원이 한참 떨어진다
내 판단
이건 과거의 모든 “로컬 vs 구름” 계산 지점들과 닮았다.
M5 Ultra Mac Studio는 종착역이 아니라 과도기다. 진짜 가치는 “구름 대체”가 아니라 다음에 있다:
- 프라이버시 민감 시나리오(의료 · 법률 · 내부 코드)는 로컬에서 처리
- 저지연 소형 모델(7B–13B) 기반 특정 작업은 충분
- 오프라인 · 단선 환경에서의 백업책
- 로컬 모델 동작을 디버깅하는 개발자 실험대
반대로 보면, 구름 API가 여전히 주战场이다. 70B를 로컬에서 돌릴 수 있는 $8,000짜리 장비가 뽑아내는 품질은 Claude Sonnet 4.5보다 한 수 아래고, 속도는 몇 배 느리며, 컨텍스트 윈도우는 절반 수준이다.
Viticci 리뷰에서 가장聪明的 부분은 제목이다 — The Dream Mac for Local AI Agents. 그는 “구름 대체”가 아니라 “dream for local”이라 했다. 이 표현이 솔직하다.
내 예측: Apple은 앞으로 2년간 통합 메모리 상한을 계속 끌어올릴 것이다. 192GB가 종착역은 아니고, Mac Pro가 M5 Ultra를 채택한 뒤에는 256GB, 어쩌면 512GB 구성까지 나올 수 있다. 로컬에서 400B+ 모델을 돌릴 수 있고 대역폭이 더 이상 병목이 아닐 때, 비로소 논의 저울이 움직이기 시작한다.
그때까지만은, 로컬 + 구름 하이브리드 아키텍처가 현실적인 답이다 — 로컬에서 빠르고 싸고 작은 모델의 서브태스크를 처리하고, 구름에서 무거운 추론 · 초장문 컨텍스트 · 멀티모달을 맡긴다. M5 Ultra Mac Studio는 이 하이브리드 퍼즐에서 비싸지만 손에 착 붙는 한 조각이지, 독립적인 답이 아니다.
참고 출처:
- MacStories 원문: The Dream Mac for Local AI Agents
- HN 토론: item?id=49787313
- MLX 프레임워크: github.com/ml-explore/mlx