Ollama 是什麼?一句話:把「在本機跑大模型推論」這件事,從「博士級的 CUDA 設定」簡化到「像裝個 Node.js 一樣輕鬆」的執行環境。
GitHub 上 179k stars,以 Go 寫成的單體服務,底層綁定 ggml-org/llama.cpp。一行 curl install.sh | sh 就能跑起來。這種產品形態在過去兩年幾乎已成為本機 LLM 的實質標準——你不一定直接用 Ollama,但你用的工具八成有呼叫 Ollama 的 API。
這篇把它拆開來看。
它解決了什麼問題
跑大模型推論曾經是件門檻不低的事:
- 顯示記憶體需求高(用一張 4090 跑 7B 都得精打細算)
- 量化演算法要選(GPTQ?AWQ?GGUF Q4_K_M?)
- CUDA、cuBLAS、ROCm 等相依套件裝半天
- 模型權重下載完是個
.bin或.safetensors,要跑起來還得寫 Python
Ollama 把這一整包全部封裝成單一二進位檔。下載、量化、載入、推論、HTTP 服務全在裡頭,目標是「curl 一行就能用」。打個比方的話:Docker 與容器的關係,就是 Ollama 與本機 LLM 的關係。
這件事的價值不在技術多深,而是把門檻從工程師級拉到一般人級。
怎麼使用
最少三步:install → run → chat。
# 1. 安裝(macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 2. 拉模型並對話
ollama run gemma3
# 3. REST API 呼叫
curl http://localhost:11434/api/chat -d '{
"model": "gemma3",
"messages": [{"role": "user", "content": "Why is the sky blue?"}],
"stream": false
}'
# 4. Python SDK
from ollama import chat
resp = chat(model='gemma3', messages=[
{'role': 'user', 'content': 'Why is the sky blue?'}
])
print(resp.message.content)
服務預設開在 :11434,提供與 OpenAI 相容的 REST API。pip install ollama 就能拿到官方 SDK,兩行程碼完成一次對話。前端則對應 ollama-js。
這套 API 相容性是關鍵——Claude Code、Codex 等 Agent 工具只要換掉 base_url,本機 Ollama 就能接手推論。相當於把雲端 API 鎖定的鏈路切斷了一層。
它的運作原理
Ollama 跑起來是個 Go 單體服務,但內部可拆成四層:
┌─────────────────────────────────────────┐
│ ① CLI / Server 入口(Gin + cobra) │
│ - ollama run / pull / serve │
│ - HTTP 監聽 :11434 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ② Model Registry + Modelfile 解析器 │
│ - GGUF / Safetensors 權重索引 │
│ - Chat template + 量化設定 │
│ - 把模型變成可定址、可版本化的物件 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ③ llama.cpp CGo 綁定層 │
│ - 動態函式庫載入 │
│ - 呼叫 ggml-org/llama.cpp 跑推論 │
│ - Metal / CUDA / ROCm / Vulkan 後端 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ④ Scheduler │
│ - 多模型並發載入 / 卸載 │
│ - LRU 顯示記憶體管理 │
│ - 請求佇列 + 串流回應分片 │
└─────────────────────────────────────────┘
幾個重點:
Modelfile 是 Ollama 的模型定義 DSL,類似 Dockerfile。像是 FROM qwen2.5-coder:7b、SYSTEM "你是翻譯官"、PARAMETER temperature 0.7 這種語法,把模型權重、prompt 模板、推論參數打包成一個可定址物件。好處是模型也能用 git 管理了。
llama.cpp 綁定 走 CGo,Ollama 本身不實作矩陣乘法。推論效能、量化、KV cache 全都仰賴上游 ggml-org/llama.cpp。這代表 Ollama 的推論天花板跟著 llama.cpp 走——這也是它的極限所在。
Scheduler 是常被低估的一層。Ollama 不限制你同時拉好幾個模型,但顯示記憶體是有限的。Scheduler 負責 LRU 卸載、超時回收、並發請求排隊。當兩個模型撞到顯示記憶體上限時,使用體驗就是「舊模型被踢掉、重新載入延遲幾秒」。
平台後端 這塊 Ollama 做得很齊全:macOS 走 Metal、Linux 支援 CUDA + ROCm + Vulkan、Windows 支援 CUDA。一個二進位檔涵蓋主流平台,開發者不用挑選後端。
它的優點與不足
優點
跨平台一致的體驗。 Mac/Win/Linux/Docker 裝起來用法都一樣。這點對開發者體驗影響很大——換台電腦不用重新學一遍。
模型市場聚合。 一行 ollama pull 就能拉 Gemma、Qwen、DeepSeek、Kimi、GLM 等主流開源權重。官方收錄了數十個模型,第三方模型(社群量化版、LoRA 合併版)也能 push 到私有 registry。
OpenAI-compatible API。 這是商業策略上的聰明選擇。/v1/chat/completions 介面跟 OpenAI 一致,所有相容 OpenAI 的工具(Claude Code、Codex、LangChain、LlamaIndex)只要改 base_url 就能用,等於直接收割了 OpenAI 生態的遷移成本紅利。
Modelfile 讓模型變成可版本化的資產。 以前模型是 .bin 檔案,沒人管理。現在 Modelfile 加上標籤機制,模型擁有跟 Dockerfile 一樣的可重現性。
生態系廣。 Open WebUI、LibreChat、Lobe Chat 這些前端都是直接接 Ollama API。一套執行環境背後長出一堆 UI 工具。
不足
單機天花板。 Ollama 不做多機分散式推論。一台機器的顯示記憶體上限就是模型上限。想跑 70B+ 全精度,得自己堆單機顯示記憶體或換方案。
量化策略相對固定。 Ollama 暴露的量化檔位是預定義的(Q4_0、Q4_K_M、Q8_0 之類),想細調量化參數得回 llama.cpp。vLLM 這類服務端對量化的控制更靈活。
Go 單體的代價。 想魔改推論邏輯?得改 llama.cpp,再重新編譯 Ollama 的 CGo 綁定層。迭代週期比純 Python 技術棧長。
閉源傾向。 0.4 版本之後 server 模組部分程式碼闭源,引發過社群爭議。GitHub issue 區能看到相關討論,立場分歧明顯。這個趨勢讓人對它的長期開放性產生疑慮。
橫向比較幾個同類工具:
| 工具 | 定位 | 優勢 | 劣勢 |
|---|---|---|---|
| Ollama | 本機執行環境,CLI 優先 | 上手最快,生態最廣 | 推論效能不是最優,閉源趨勢 |
| LM Studio | 圖形化前端 | UI 友善,適合非工程師 | 不開源,功能受限 |
| vLLM | 服務端推論引擎 | 效能強(PagedAttention),生產級 | 部署複雜,本機除錯門檻高 |
| llama.cpp | 底層 C++ 引擎 | 最靈活,效能極限可壓榨 | 裸用門檻高,沒有 HTTP 服務 |
Ollama 選擇的是「夠用 + 易用」路線,而不是「極致效能」路線。這是個取捨。
我實測了一下
測試環境:M2 Max 64GB,統一記憶體。
基線:qwen2.5-coder:7b
- 冷啟動到首個 token:約 1.8 秒
- 持續生成:約 38 token/s
- 常駐記憶體:約 5GB
升級檔:32B Q4_K_M 量化
- 首個 token:約 3.2 秒
- 持續生成:約 11 token/s
- 能撐住 8k context 的程式碼補完任務
並發測試:同時跑兩個模型(7B + 13B),顯示記憶體吃緊後 Scheduler 觸發 LRU 卸載。舊模型重新載入耗時 4.5 秒,期間請求會被阻塞。這個體驗還有優化空間——理想情況應該預先載入或乾脆不允許並發。
整體感受:7B 量級日常用很順暢;32B 量化版做嚴肅任務可用但不算快。生產場景想上 70B+ 還是得正經部署推論服務。
誰適合使用
適合:
- 開發者在本機除錯 Agent、做模型選型對比
- 離線 demo、隱私敏感場景(金融/醫療資料不能出網)
- 不想被 OpenAI API 收費綁架的小團隊
- 想橋接 Claude Code / Codex 做本機推論的 Agent 開發者
不適合:
- 需要 70B+ 全精度做嚴肅評測(vLLM/SGLang 更合適)
- 生產環境高並發推論(這不是它的設計目標)
- 訓練或微調(那是 unsloth / LLaMA-Factory 的活)
- Windows 下需要 GPU 極致效能(Mac/Linux 平台後端較穩,Windows 上 CUDA 偶有相容性坑)
結語
Ollama 不是效能最強的本機推論方案,也不是最靈活的。但它把「本機跑大模型」這件事的產品體驗做到位了——這是多數工程師真正在意的。
Docker 當年也是靠「一行指令跑起來」打敗了複雜的 LXC。Ollama 在本機 LLM 領域重演了同樣的劇本。
至於閉源傾向,長期值得關注。如果你要把 Ollama 當作生產基礎設施,建議 fork 最後一個全開源版本的 0.3.x 釘住,別跟著 0.4+ 走。