產品

M5 Ultra Mac Studio 本地跑 AI Agent 實測:能取代雲端 API 嗎?

MacStories 編輯 Federico Viticci 稱 M5 Ultra Mac Studio 為「本地 AI Agent 的夢幻 Mac」,引發 HN 熱議。統一記憶體架構確實能跑 70B 模型,但速度、價格與雲端 API 相比,實際成本帳該怎麼算?

字級
⚠️ DRAFT — 事實問題未解決,見下方 issues

MacStories 的 Federico Viticci 最近發了篇評測,標題直接叫 The Dream Mac for Local AI Agents。文章上週六衝上 Hacker News 首頁,82 分、39 則留言。

這不是常規硬體評測。Viticci 這幾年一直在追蹤 macOS + Apple Silicon 的實際生產力情境,他這次是從 Agent 實際運行為出發點來測——不是剪影片、不是跑 Xcode,是看你本地跑 LLM + 工具呼叫時,M5 Ultra 到底能不能扛得住。

為何評測鎖定 Mac Studio

M5 Ultra 在 Mac Studio 上的定位,和官方新聞稿宣傳的角度完全不同。Apple 自己講的是「創意工作者」「影片剪輯」「音樂製作」——這些是傳統消費市場。

但 HN 上討論的風向明顯不是這些。使用者關心的是:

  • 70B 模型到底能不能本地跑
  • 多步 Agent 工具呼叫延遲會累積到什麼程度
  • 記憶體夠不夠塞下整個上下文視窗
  • 斷網狀況下能不能跑完一整個工作流

為何選 Mac Studio 而非 Mac Pro?Mac Pro 現在用的是 Intel Xeon + AMD 顯卡組合,Apple Silicon 的優勢一個都吃不到。Mac Studio 是 Apple Silicon 在桌機端能拿到的最強配置。

Viticci 那篇評測點中的痛點很單純:雲端 API 不是免費的,資料還要多過一道,這兩點對小團隊和個人開發者尤其敏感。

統一記憶體架構才是真正的賣點

M5 Ultra 的 192GB 統一記憶體配置不是為剪輯影片準備的——剪輯用不到這麼大的記憶體池,就算 8K RAW 也就幾十 GB 的峰值。

真正吃這個配置的是 LLM 推理。

雲端 GPU 動輒 80GB 顯存起跳,A100、H100 都是這個量級。消費級設備想跑 70B 模型(FP16 約 140GB,INT4 量化後約 40GB),傳統「CPU + 獨立顯卡」架構根本無解——顯存和記憶體之間要過 PCIe,頻寬只有幾十 GB/s,瓶頸明顯。

Apple Silicon 的統一記憶體架構直接把這個問題繞過去了。CPU、GPU、Neural Engine 共用同一塊記憶體池,頻寬動輒幾百 GB/s(M5 Ultra 公開規格裡記憶體頻寬是 819 GB/s)。

這代表:

  • 192GB 記憶體裡,GPU 可以拿到接近 192GB 當顯存用
  • 70B 模型 INT4 量化後能完整塞進去
  • CPU 和 GPU 之間不需要資料拷貝

聽起來很美好,但統一記憶體不等於萬能。MLX 框架雖然已成熟,llama.cpp 也支援 Metal 後端,但 Apple Silicon 的 GPU 計算吞吐和 NVIDIA H100 比,還是有數量級的差距。這點後面會算。

本地 Agent 跑起來,慢在哪?

Agent 體驗好不好,看三個數字:

  1. 推理速度(tokens/s)——生成速度
  2. 首 token 延遲(TTFT,Time To First Token)——決定回應感
  3. 多步工具呼叫的累積耗時——Agent 跑 10 步比單步慢多少

第三點最關鍵。Agent 不是單次問答,是「LLM 思考 → 調工具 → 拿結果 → 再思考」的循環。每一步的延遲都會累積。

社群 benchmark 的參考數字(Mac Studio M2 Ultra,MLX 後端,llama.cpp 量化版):

  • Llama 3 70B Q4 量化:約 8-12 tokens/s
  • Mistral Large Q4:約 6-10 tokens/s
  • 首 token 延遲:300-800ms

M5 Ultra 比 M2 Ultra 大約快 30-50%(CPU/GPU 核心數和記憶體頻寬都升級了),樂觀估計 70B Q4 能跑到 15-18 tokens/s。

這個速度能跑,但談不上流暢。對話式互動勉強可接受,但如果是 Agent 跑一串工具呼叫(例如先搜尋、再讀檔案、再調 API、再彙整),整個工作流跑完可能比雲端慢 5-10 倍。

NVIDIA H100 跑同樣模型,Q4 量化能到 80-150 tokens/s,差一個數量級。3090/4090 這類消費級 NVIDIA 卡,憑藉 24GB 顯存跑量化 70B 加上 CUDA 生態成熟度,體驗也比 Apple Silicon 順滑得多——前提是你得願意用 Linux 和折騰環境。

# 用 MLX 跑本地 Llama 3 的最小範例(Mac Studio 上)
from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Meta-Llama-3-70B-Instruct-4bit")

response = generate(
    model,
    tokenizer,
    prompt="用三句話解釋什麼是 Agent",
    max_tokens=200,
    temp=0.7
)
print(response)

這是 MLX 官方倉庫的範例程式碼,在 192GB 統一記憶體的 M5 Ultra 上能直接跑(70B 4bit 量化約 40GB)。

去雲端的真實成本帳

滿配 M5 Ultra Mac Studio(192GB 記憶體)的官方價格大約 8000 美元 左右(美國官網含稅前)。

按雲端 API 來算:

  • GPT-4o:輸入 $2.50/M tokens,輸出 $10/M tokens
  • Claude Sonnet 4.5:輸入 $3/M tokens,輸出 $15/M tokens
  • DeepSeek V3:輸入 $0.27/M tokens(快取命中),輸出 $1.10/M tokens

一個典型的 Agent 工作流(例如讓 Claude 幫我讀 5 個檔案、查 3 個 API、產生彙整報告),單次消耗大約:

  • 輸入 50K tokens(讀檔案 + 工具結果)
  • 輸出 5K tokens(彙整 + 工具呼叫決策)

按 Claude Sonnet 4.5 價格算:

輸入:50K × $3/M = $0.15
輸出:5K × $15/M = $0.075
單次成本 ≈ $0.225

如果每天跑 50 次這樣的工作流:

月成本 = 50 × 30 × $0.225 ≈ $337

一年 ≈ $4,050。

不到滿配 Mac Studio 的一半,而且不用寫 MLX 相容程式碼、不用等本地推理、不用被記憶體不夠的問題折磨。

如果你跑的是 DeepSeek V3(API 價格便宜 10 倍以上),一年雲端成本不到 $500。本地化的回本週期在這個使用強度下大約是 2 年,而且前提是你完全不用雲端——實際上沒人能完全脫雲,因為:

  • 本地跑不動超大上下文(200K+ tokens)
  • 本地模型在複雜推理上還是落後 GPT-5、Claude 4.5 一個身位
  • 多模態(看圖、讀 PDF)本地模型支援差很多

我的判斷

這事和過去所有「本地 vs 雲端」的算帳節點都很像。

M5 Ultra Mac Studio 不是終局,而是過渡。它的真正價值不在於「取代雲端」,而在於:

  1. 隱私敏感場景(醫療、法律、內部程式碼)可以本地跑
  2. 低延遲小模型(7B-13B)的特定任務完全夠用
  3. 離線/斷網環境下的備援方案
  4. 開發者除錯本地模型行為的實驗台

反過來看,雲端 API 仍然是主戰場。一台能跑 70B 本地模型的 8000 美元設備,跑出來的品質比 Claude Sonnet 4.5 差一截,速度慢好幾倍,上下文視窗小一半。

Viticci 那篇評測最聰明的地方是標題——The Dream Mac for Local AI Agents——他沒有說「取代雲端」,他說的是「dream for local」。這個措辭很誠實。

我的預測:Apple 接下來兩年會繼續推高統一記憶體上限。192GB 不是終點,Mac Pro 用上 M5 Ultra 之後應該能看到 256GB 甚至 512GB 配置。當本地能跑 400B+ 模型且頻寬不再是大瓶頸時,討論天平才會真的開始移動。

在那之前,本地 + 雲端混合架構才是務實方案:本地跑快速、便宜、小模型的子任務,雲端跑重推理、超長上下文、多模態。M5 Ultra Mac Studio 是這套混合架構裡很貴但很順手的一塊拼圖,不是獨立答案。

參考來源:

來源: https://www.macstories.net/stories/m5-ultra-mac-studio-review-the-dream-mac-for-local-ai-agents/