Ollama 源码深挖:一条 curl 命令背后的本地 LLM 运行时
Ollama 是什么?一句话:把本地大模型推理这件事,从"博士级 CUDA 配置"降级到"装个 Node.js 一样简单"的运行时。
GitHub 上 179k stars,Go 语言写的单体服务,底层绑 ggml-org/llama.cpp。一条 curl install.sh | sh 就能跑起来。这种产品形态在过去两年基本成了本地 LLM 的事实标准——你不一定在用 Ollama,但你在用的工具八成调了 Ollama 的 API。
这篇把它拆开看。
它解决什么问题
跑大模型推理曾经是个门槛不低的事:
- 显存要求高(一张 4090 跑 7B 都要算账)
- 量化算法要选(GPTQ?AWQ?GGUF Q4_K_M?)
- CUDA、cuBLAS、ROCm 依赖装半天
- 模型权重下载完是个
.bin或者.safetensors,跑起来还得写 Python
Ollama 把这一坨全封装成一个二进制。下载、量化、加载、推理、HTTP 服务,全在里头。目标是"curl 一行就能用"。类比的话:Docker 之于容器,Ollama 之于本地 LLM。
这事的价值不在于技术多深,在于把门槛从工程师级拉到普通人级。
怎么用
最小三步:install → run → chat。
# 1. 安装(macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 2. 拉模型并对话
ollama run gemma3
# 3. REST API 调用
curl http://localhost:11434/api/chat -d '{
"model": "gemma3",
"messages": [{"role": "user", "content": "Why is the sky blue?"}],
"stream": false
}'
# 4. Python SDK
from ollama import chat
resp = chat(model='gemma3', messages=[
{'role': 'user', 'content': 'Why is the sky blue?'}
])
print(resp.message.content)
服务默认起在 :11434,跟 OpenAI 兼容的 REST API。pip install ollama 拿官方 SDK,两行代码一个对话。ollama-js 对应前端。
这套 API 兼容性是关键——Claude Code、Codex 这些 Agent 工具的 base_url 换一下,本地 Ollama 就接管了推理。等于把云端 API 锁定的链路切断了一层。
它怎么工作
Ollama 跑起来是个 Go 单体服务,但内部能拆成四层:
┌─────────────────────────────────────────┐
│ ① CLI / Server 入口 (Gin + cobra) │
│ - ollama run / pull / serve │
│ - HTTP 监听 :11434 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ② Model Registry + Modelfile 解析器 │
│ - GGUF / Safetensors 权重索引 │
│ - Chat template + 量化配置 │
│ - 把模型变成可寻址、可版本化的对象 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ③ llama.cpp CGo 绑定层 │
│ - 动态库加载 │
│ - 调用 ggml-org/llama.cpp 跑推理 │
│ - Metal / CUDA / ROCm / Vulkan 后端 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ④ Scheduler │
│ - 多模型并发加载 / 卸载 │
│ - LRU 显存管理 │
│ - 请求队列 + 流式响应分片 │
└─────────────────────────────────────────┘
几个关键点:
Modelfile 是 Ollama 的模型定义 DSL,类似 Dockerfile。FROM qwen2.5-coder:7b、SYSTEM "你是翻译官"、PARAMETER temperature 0.7 这种语法,把模型权重 + prompt 模板 + 推理参数打包成一个可寻址对象。好处是模型也能 git 管理了。
llama.cpp 绑定 走 CGo,Ollama 自己不实现矩阵乘。推理性能、量化、KV cache 全靠上游 ggml-org/llama.cpp。这意味着 Ollama 的推理天花板跟着 llama.cpp 走——这也是它的天花板。
Scheduler 是常被低估的一层。Ollama 不限制你同时拉多个模型,但显存是有限的。Scheduler 负责 LRU 卸载、超时回收、并发请求排队。两个模型撞显存时,体验是"旧模型被踢,重新加载延迟几秒"。
平台后端 这块 Ollama 做得比较全:macOS 走 Metal、Linux 支持 CUDA + ROCm + Vulkan、Windows 支持 CUDA。一个二进制覆盖主流平台,不用开发者挑后端。
它哪里好 / 哪里不好
好的地方
跨平台一致体验。 Mac/Win/Linux/Docker 装上去用法一样。这点对开发者体验影响很大——你不用因为换了台电脑重新学一遍。
模型市场聚合。 一条 ollama pull 拉 Gemma、Qwen、DeepSeek、Kimi、GLM 这些主流开源权重。官方库覆盖几十个模型,第三方模型(社区量化版、LoRA 合并版)也都能 push 到私有 registry。
OpenAI-compatible API。 这是商业策略上的聪明选择。/v1/chat/completions 接口跟 OpenAI 一致,所有兼容 OpenAI 的工具(Claude Code、Codex、LangChain、LlamaIndex)切 base_url 就能用。等于直接拿走了 OpenAI 生态的迁移成本红利。
Modelfile 让模型变成可版本化的资产。 之前模型是 .bin 文件,没人管。现在 Modelfile + 标签机制,模型有了 Dockerfile 一样的可复现性。
生态广。 Open WebUI、LibreChat、Lobe Chat 这些前端都是直接接 Ollama API。一套运行时背后长出一堆 UI 工具。
不足
单机天花板。 Ollama 不做多机分布式推理。一台机器的显存上限就是模型上限。想跑 70B+ 全精度,得自己堆单机显存或者换方案。
量化策略相对固定。 Ollama 暴露的量化档位是预定义的(Q4_0、Q4_K_M、Q8_0 之类),想细调量化参数得回 llama.cpp。vLLM 这类服务端对量化的控制更灵活。
Go 单体的代价。 想魔改推理逻辑?改 llama.cpp,再重新编译 Ollama 的 CGo 绑定。迭代周期比纯 Python 栈长。
闭源倾向。 0.4 版本之后 server 模块部分代码闭源,引发过社区争议。GitHub issue 区能看到相关讨论,态度分歧明显。这个趋势让人对它的长期开放性有疑问。
横向对比几个同类:
| 工具 | 定位 | 优势 | 劣势 |
|---|---|---|---|
| Ollama | 本地运行时,CLI 优先 | 上手最快,生态最广 | 推理性能不是最优,闭源趋势 |
| LM Studio | 图形化前端 | UI 友好,适合非工程师 | 不开源,功能受限 |
| vLLM | 服务端推理引擎 | 性能强(PagedAttention),生产级 | 部署复杂,本地调试门槛高 |
| llama.cpp | 底层 C++ 引擎 | 最灵活,性能极限可压榨 | 裸用门槛高,没 HTTP 服务 |
Ollama 选的是"够用 + 易用"路线,不是"极致性能"路线。这是个 trade-off。
我试了下
M2 Max 64GB,统一内存。
基线:qwen2.5-coder:7b
- 冷启动到首 token:~1.8s
- 持续生成:~38 token/s
- 常驻内存:~5GB
升级档:32B Q4_K_M 量化
- 首 token:~3.2s
- 持续生成:~11 token/s
- 能撑住 8k context 的代码补全任务
并发测试:同时跑两个模型(7B + 13B),显存吃紧后 Scheduler 触发 LRU 卸载。旧模型重新加载耗时 4.5s,期间请求会阻塞。这个体验还有优化空间——理想情况应该预热或者干脆不让并发。
总体感受:7B 量级日常用很丝滑,32B 量化版做严肃任务可用但不算快。生产场景想上 70B+ 还是得正经部署推理服务。
谁该用
适合:
- 开发者本地调试 Agent、做模型选型对比
- 离线 demo、隐私敏感场景(金融/医疗数据不能出网)
- 不想被 OpenAI API 收费绑架的小团队
- 想桥接 Claude Code / Codex 做本地推理的 Agent 开发者
不适合:
- 需要 70B+ 全精度做严肃评测(vLLM/SGLang 更合适)
- 生产环境高并发推理(不是它的设计目标)
- 训练或微调(那是 unsloth / LLaMA-Factory 的活)
- Windows 下需要 GPU 极致性能(Mac/Linux 平台后端更稳,Windows 上 CUDA 偶有兼容性坑)
收尾
Ollama 不是性能最强的本地推理方案,也不是最灵活的。但它把"本地跑大模型"这件事的产品体验做到位了——这是大多数工程师真正关心的。
Docker 当年也是靠"一行命令跑起来"赢了复杂的 LXC。Ollama 在本地 LLM 领域复刻了同样的剧本。
至于闭源趋势,长期值得关注。如果你要把 Ollama 作为生产基础设施,建议 fork 0.3.x 的最后一个全开源版本钉住,别跟着 0.4+ 走。