工具

深入 Ollama 原始碼:一行 curl 指令背後的本機 LLM 執行環境

本機大模型的實質標準,GitHub 上已累積 179k stars。本文從一行 curl 指令出發,拆解 Modelfile、llama.cpp 綁定層與排程器,帶你把 Ollama 翻過來看。

字級

Ollama 是什麼?一句話:把「在本機跑大模型推論」這件事,從「博士級的 CUDA 設定」簡化到「像裝個 Node.js 一樣輕鬆」的執行環境。

GitHub 上 179k stars,以 Go 寫成的單體服務,底層綁定 ggml-org/llama.cpp。一行 curl install.sh | sh 就能跑起來。這種產品形態在過去兩年幾乎已成為本機 LLM 的實質標準——你不一定直接用 Ollama,但你用的工具八成有呼叫 Ollama 的 API。

這篇把它拆開來看。

它解決了什麼問題

跑大模型推論曾經是件門檻不低的事:

  • 顯示記憶體需求高(用一張 4090 跑 7B 都得精打細算)
  • 量化演算法要選(GPTQ?AWQ?GGUF Q4_K_M?)
  • CUDA、cuBLAS、ROCm 等相依套件裝半天
  • 模型權重下載完是個 .bin 或 .safetensors,要跑起來還得寫 Python

Ollama 把這一整包全部封裝成單一二進位檔。下載、量化、載入、推論、HTTP 服務全在裡頭,目標是「curl 一行就能用」。打個比方的話:Docker 與容器的關係,就是 Ollama 與本機 LLM 的關係。

這件事的價值不在技術多深,而是把門檻從工程師級拉到一般人級。

怎麼使用

最少三步:install → run → chat。

# 1. 安裝(macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 2. 拉模型並對話
ollama run gemma3

# 3. REST API 呼叫
curl http://localhost:11434/api/chat -d '{
  "model": "gemma3",
  "messages": [{"role": "user", "content": "Why is the sky blue?"}],
  "stream": false
}'

# 4. Python SDK
from ollama import chat
resp = chat(model='gemma3', messages=[
    {'role': 'user', 'content': 'Why is the sky blue?'}
])
print(resp.message.content)

服務預設開在 :11434,提供與 OpenAI 相容的 REST API。pip install ollama 就能拿到官方 SDK,兩行程碼完成一次對話。前端則對應 ollama-js。

這套 API 相容性是關鍵——Claude Code、Codex 等 Agent 工具只要換掉 base_url,本機 Ollama 就能接手推論。相當於把雲端 API 鎖定的鏈路切斷了一層。

它的運作原理

Ollama 跑起來是個 Go 單體服務,但內部可拆成四層:

┌─────────────────────────────────────────┐
│ ① CLI / Server 入口(Gin + cobra)      │
│    - ollama run / pull / serve          │
│    - HTTP 監聽 :11434                   │
└─────────────┬───────────────────────────┘
              │
┌─────────────▼───────────────────────────┐
│ ② Model Registry + Modelfile 解析器     │
│    - GGUF / Safetensors 權重索引        │
│    - Chat template + 量化設定           │
│    - 把模型變成可定址、可版本化的物件    │
└─────────────┬───────────────────────────┘
              │
┌─────────────▼───────────────────────────┐
│ ③ llama.cpp CGo 綁定層                  │
│    - 動態函式庫載入                      │
│    - 呼叫 ggml-org/llama.cpp 跑推論     │
│    - Metal / CUDA / ROCm / Vulkan 後端  │
└─────────────┬───────────────────────────┘
              │
┌─────────────▼───────────────────────────┐
│ ④ Scheduler                             │
│    - 多模型並發載入 / 卸載               │
│    - LRU 顯示記憶體管理                  │
│    - 請求佇列 + 串流回應分片             │
└─────────────────────────────────────────┘

幾個重點:

Modelfile 是 Ollama 的模型定義 DSL,類似 Dockerfile。像是 FROM qwen2.5-coder:7b、SYSTEM "你是翻譯官"、PARAMETER temperature 0.7 這種語法,把模型權重、prompt 模板、推論參數打包成一個可定址物件。好處是模型也能用 git 管理了。

llama.cpp 綁定 走 CGo,Ollama 本身不實作矩陣乘法。推論效能、量化、KV cache 全都仰賴上游 ggml-org/llama.cpp。這代表 Ollama 的推論天花板跟著 llama.cpp 走——這也是它的極限所在。

Scheduler 是常被低估的一層。Ollama 不限制你同時拉好幾個模型,但顯示記憶體是有限的。Scheduler 負責 LRU 卸載、超時回收、並發請求排隊。當兩個模型撞到顯示記憶體上限時,使用體驗就是「舊模型被踢掉、重新載入延遲幾秒」。

平台後端 這塊 Ollama 做得很齊全:macOS 走 Metal、Linux 支援 CUDA + ROCm + Vulkan、Windows 支援 CUDA。一個二進位檔涵蓋主流平台,開發者不用挑選後端。

它的優點與不足

優點

跨平台一致的體驗。 Mac/Win/Linux/Docker 裝起來用法都一樣。這點對開發者體驗影響很大——換台電腦不用重新學一遍。

模型市場聚合。 一行 ollama pull 就能拉 Gemma、Qwen、DeepSeek、Kimi、GLM 等主流開源權重。官方收錄了數十個模型,第三方模型(社群量化版、LoRA 合併版)也能 push 到私有 registry。

OpenAI-compatible API。 這是商業策略上的聰明選擇。/v1/chat/completions 介面跟 OpenAI 一致,所有相容 OpenAI 的工具(Claude Code、Codex、LangChain、LlamaIndex)只要改 base_url 就能用,等於直接收割了 OpenAI 生態的遷移成本紅利。

Modelfile 讓模型變成可版本化的資產。 以前模型是 .bin 檔案,沒人管理。現在 Modelfile 加上標籤機制,模型擁有跟 Dockerfile 一樣的可重現性。

生態系廣。 Open WebUI、LibreChat、Lobe Chat 這些前端都是直接接 Ollama API。一套執行環境背後長出一堆 UI 工具。

不足

單機天花板。 Ollama 不做多機分散式推論。一台機器的顯示記憶體上限就是模型上限。想跑 70B+ 全精度,得自己堆單機顯示記憶體或換方案。

量化策略相對固定。 Ollama 暴露的量化檔位是預定義的(Q4_0、Q4_K_M、Q8_0 之類),想細調量化參數得回 llama.cpp。vLLM 這類服務端對量化的控制更靈活。

Go 單體的代價。 想魔改推論邏輯?得改 llama.cpp,再重新編譯 Ollama 的 CGo 綁定層。迭代週期比純 Python 技術棧長。

閉源傾向。 0.4 版本之後 server 模組部分程式碼闭源,引發過社群爭議。GitHub issue 區能看到相關討論,立場分歧明顯。這個趨勢讓人對它的長期開放性產生疑慮。

橫向比較幾個同類工具:

工具定位優勢劣勢
Ollama本機執行環境,CLI 優先上手最快,生態最廣推論效能不是最優,閉源趨勢
LM Studio圖形化前端UI 友善,適合非工程師不開源,功能受限
vLLM服務端推論引擎效能強(PagedAttention),生產級部署複雜,本機除錯門檻高
llama.cpp底層 C++ 引擎最靈活,效能極限可壓榨裸用門檻高,沒有 HTTP 服務

Ollama 選擇的是「夠用 + 易用」路線,而不是「極致效能」路線。這是個取捨。

我實測了一下

測試環境:M2 Max 64GB,統一記憶體。

基線:qwen2.5-coder:7b

  • 冷啟動到首個 token:約 1.8 秒
  • 持續生成:約 38 token/s
  • 常駐記憶體:約 5GB

升級檔:32B Q4_K_M 量化

  • 首個 token:約 3.2 秒
  • 持續生成:約 11 token/s
  • 能撐住 8k context 的程式碼補完任務

並發測試:同時跑兩個模型(7B + 13B),顯示記憶體吃緊後 Scheduler 觸發 LRU 卸載。舊模型重新載入耗時 4.5 秒,期間請求會被阻塞。這個體驗還有優化空間——理想情況應該預先載入或乾脆不允許並發。

整體感受:7B 量級日常用很順暢;32B 量化版做嚴肅任務可用但不算快。生產場景想上 70B+ 還是得正經部署推論服務。

誰適合使用

適合:

  • 開發者在本機除錯 Agent、做模型選型對比
  • 離線 demo、隱私敏感場景(金融/醫療資料不能出網)
  • 不想被 OpenAI API 收費綁架的小團隊
  • 想橋接 Claude Code / Codex 做本機推論的 Agent 開發者

不適合:

  • 需要 70B+ 全精度做嚴肅評測(vLLM/SGLang 更合適)
  • 生產環境高並發推論(這不是它的設計目標)
  • 訓練或微調(那是 unsloth / LLaMA-Factory 的活)
  • Windows 下需要 GPU 極致效能(Mac/Linux 平台後端較穩,Windows 上 CUDA 偶有相容性坑)

結語

Ollama 不是效能最強的本機推論方案,也不是最靈活的。但它把「本機跑大模型」這件事的產品體驗做到位了——這是多數工程師真正在意的。

Docker 當年也是靠「一行指令跑起來」打敗了複雜的 LXC。Ollama 在本機 LLM 領域重演了同樣的劇本。

至於閉源傾向,長期值得關注。如果你要把 Ollama 當作生產基礎設施,建議 fork 最後一個全開源版本的 0.3.x 釘住,別跟著 0.4+ 走。

參考資料:Ollama GitHub 倉庫、llama.cpp 專案、Ollama 官方文件。

來源: https://github.com/ollama/ollama