Ollama とは何か。一言で言えば、ローカル LLM 推論を「博士レベルの CUDA 設定」から「Node.js を入れるくらい手軽な」ランタイムに引き下げたものだ。
GitHub で 179k stars、Go 言語で書かれたモノリシックサービス、底层は ggml-org/llama.cpp をバインドしている。curl install.sh | sh 一発で動く。このプロダクト形態は過去 2 年でローカル LLM の事実上の標準になった。Ollama を直接使っていなくても、使っているツールが Ollama の API を叩いている可能性は高い。
今回はそれを解体してみる。
何の問題を解決するか
大モデル推論を動かすのは、かつて高いハードルの作業だった。
- VRAM 要件がきつい(4090 一枚で 7B でもカツカツ)
- 量子化アルゴリズムを選ばないといけない(GPTQ?AWQ?GGUF Q4_K_M?)
- CUDA、cuBLAS、ROCm の依存を入れて回るのに半日
- モデル重みは
.binか.safetensorsで、動かすには Python を書く必要あり
Ollama はこのすべてを一個のバイナリに詰め込んだ。ダウンロード、量子化、ロード、推論、HTTP サービスまで全部入り。目標は「curl 一行で使える」。喩えるなら、コンテナに対する Docker のような存在で、ローカル LLM の領域で同じ立ち位置にいる。
この価値は技術の深さではなく、ハードルをエンジニアレベルから一般人レベルまで引き下げた点にある。
使い方
最小構成は 3 ステップ:install → run → chat。
# 1. インストール(macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 2. モデルを引いて対話
ollama run gemma3
# 3. REST API 呼び出し
curl http://localhost:11434/api/chat -d '{
"model": "gemma3",
"messages": [{"role": "user", "content": "Why is the sky blue?"}],
"stream": false
}'
# 4. Python SDK
from ollama import chat
resp = chat(model='gemma3', messages=[
{'role': 'user', 'content': 'Why is the sky blue?'}
])
print(resp.message.content)
サービスはデフォルトで :11434 で待ち受け、OpenAI 互換の REST API を備える。pip install ollama で公式 SDK が手に入り、2 行で会話が成立する。フロントエンド対応は ollama-js。
この API 互換性が肝だ。Claude Code や Codex などの Agent ツールの base_url を差し替えれば、ローカルの Ollama が推論を肩代わりする。クラウド API にロックインされる経路を一段断つ形になる。
仕組み
Ollama は Go のモノリシックサービスとして動くが、内部は 4 層に分解できる。
┌─────────────────────────────────────────┐
│ ① CLI / Server エントリ (Gin + cobra) │
│ - ollama run / pull / serve │
│ - HTTP リッスン :11434 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ② Model Registry + Modelfile パーサ │
│ - GGUF / Safetensors 重みインデックス│
│ - Chat template + 量子化設定 │
│ - モデルを参照可能・バージョン管理可 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ③ llama.cpp CGo バインディング層 │
│ - 動的ライブラリのロード │
│ - ggml-org/llama.cpp で推論実行 │
│ - Metal / CUDA / ROCm / Vulkan バックエンド│
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ④ Scheduler │
│ - 複数モデルの同時ロード / アンロード│
│ - LRU による VRAM 管理 │
│ - リクエストキュー + ストリーム分割 │
└─────────────────────────────────────────┘
押さえておきたいポイント:
Modelfile は Ollama 独自のモデル定義 DSL で、Dockerfile に似た記法だ。FROM qwen2.5-coder:7b、SYSTEM "あなたは翻訳者です"、PARAMETER temperature 0.7 といった書き方で、モデルの重み・プロンプトテンプレート・推論パラメータを一つのアドレス可能なオブジェクトにまとめる。モデルも git で管理できるようになる。
llama.cpp バインディング は CGo 経由なので、Ollama 自身は行列乗算を実装しない。推論性能・量子化・KV cache はすべて上流の ggml-org/llama.cpp に依存する。つまり Ollama の推論性能の天井は llama.cpp とイコールであり、同時に Ollama 自身の天井でもある。
Scheduler 層は過小評価されがちだが重要だ。Ollama は複数モデルの同時ロードを制限しないが、VRAM は有限である。Scheduler が LRU でのアンロード、タイムアウト回収、並行リクエストのキューイングを担う。2 モデルが VRAM で衝突したときの体験は「古いモデルが蹴られ、再ロードに数秒かかる」となる。
プラットフォームバックエンド も Ollama は網羅的だ。macOS は Metal、Linux は CUDA + ROCm + Vulkan、Windows は CUDA をサポート。開発者がバックエンドを選ぶ必要なく、単一バイナリで主要プラットフォームをカバーする。
良いところ / 悪いところ
良いところ
クロスプラットフォームで一貫した体験。Mac/Win/Linux/Docker で入れても使い方は同じ。パソコンを買い替えても一から学び直す必要がないのは開発者体験への影響が大きい。
モデル市場の集約。ollama pull 一発で Gemma、Qwen、DeepSeek、Kimi、GLM といった主要なオープンソース重みを取れる。公式ライブラリは数十モデルをカバーし、コミュニティ量子化版や LoRA マージ版もプライベート registry に push できる。
OpenAI 互換 API。これはビジネス戦略上の巧みな一手だ。/v1/chat/completions のインターフェースが OpenAI と一致するため、OpenAI 互換のツール(Claude Code、Codex、LangChain、LlamaIndex)は base_url を差し替えるだけで動く。OpenAI エコシステムの移行コスト红利をそのまま享受できる。
Modelfile でモデルがバージョン管理可能な資産になる。以前はモデルは .bin ファイルで野良状態だった。Modelfile + タグ機構により、モデルに Dockerfile のような再現性が生まれた。
エコシステムの広さ。Open WebUI、LibreChat、Lobe Chat などのフロントエンドはそのまま Ollama API に繋ぐ。1 つのランタイムの上に UI ツールがいくつも育っている。
足りないところ
单机(シングルノード)の天井。Ollama は複数マシンでの分散推論をサポートしない。1 台のマシンの VRAM 上限がそのままモデルの上限になる。70B+ をフル精度で回したいなら、单机で VRAM を積み増すか、別の構成に切り替える必要がある。
量子化戦略が比較的固定。Ollama が公開している量子化レベルはプリセット(Q4_0、Q4_K_M、Q8_0 など)で、量子化パラメータを細かく調整したい場合は llama.cpp 側に戻る必要がある。vLLM のようなサーバーは量子化の制御がより柔軟だ。
Go モノリスの代償。推論ロジックを魔改造したいなら、llama.cpp を変更し、Ollama の CGo バインディングを再ビルドする必要がある。Pure Python のスタックよりイテレーションサイクルは長くなる。
クローズドソース化の傾向。バージョン 0.4 以降、server モジュールのコードの一部がクローズドになり、社区で議論を呼んだ。GitHub issue には関連スレッドがいくつかあり、意見は割れている。長期的なオープン性に対する懸念は拭えない。
同類ツールと横並びで比較すると:
| ツール | 位置付け | 強み | 弱み |
|---|---|---|---|
| Ollama | ローカルランタイム、CLI 優先 | 一番手軽、エコシステム最大 | 推論性能は最優ではない、クローズド化傾向 |
| LM Studio | GUI フロントエンド | UI フレンドリー、非エンジニア向き | 非オープンソース、機能制限あり |
| vLLM | サーバー推論エンジン | 高性能(PagedAttention)、プロダクション級 | デプロイ複雑、ローカルデバッグの敷居が高い |
| llama.cpp | 底層の C++ エンジン | 最も柔軟、性能限界まで詰める | 素のままでは敷居が高い、HTTP サービスなし |
Ollama は「十分 + 手軽」路線を選んでおり、「极致の性能」路線ではない。これはトレードオフだ。
試してみた
M2 Max 64GB、ユニファイドメモリ。
ベースライン:qwen2.5-coder:7b
- コールドスタートから最初のトークまで:約 1.8 秒
- 継続生成:約 38 token/s
- 常駐メモリ:約 5GB
アップグレード版:32B Q4_K_M 量子化
- 最初のトークまで:約 3.2 秒
- 継続生成:約 11 token/s
- 8k context のコード補完タスクは十分実用的
並行テスト:2 モデル(7B + 13B)を同時に走らせ、VRAM が逼迫すると Scheduler が LRU アンロードを発動。旧モデルの再ロードに 4.5 秒かかり、その間リクエストはブロックされる。ここは改善余地がある。理想的にはプリヒートするか、そもそも並行を許可しない設計が望ましい。
総合すると、7B クラスは日常利用でかなり快適、32B 量子化版は本格的なタスクに使えるが特別速くはない。70B+ をプロダクションで使うなら、ちゃんとした推論サービスを立てる必要がある。
誰が使うべきか
向いているケース:
- ローカルでの Agent デバッグやモデル選定比較を行う開発者
- オフラインデモ、プライバシー重視のシナリオ(金融・医療データをネットに出せない)
- OpenAI API の課金を回避したい小規模チーム
- Claude Code / Codex に base_url を渡してローカル推論にブリッジしたい Agent 開発者
向いていないケース:
- 70B+ フル精度で本格的な評価をしたい(vLLM/SGLang が適任)
- プロダクション環境で高並列推論(設計上のゴールではない)
- 学習やファインチューニング(それは unsloth / LLaMA-Factory の領域)
- Windows で GPU の极致性能を出したい(Mac/Linux のバックエンドが安定、Windows の CUDA には互換性のはまりどころがある)
まとめ
Ollama はローカル推論ソリューションとして性能最強でも最も柔軟でもない。だが「ローカルで大モデルを動かす」というプロダクト体験を作り込んでいる。多くのエンジニアが本当に求めているのはそこだ。
Docker が「一コマンドで動く」で複雑な LXC に勝ったように、Ollama はローカル LLM の領域で同じシナリオを再現している。
クローズドソース化の流れについては、長期的なウォッチが必要。Ollama をプロダクションのインフラとして使うなら、0.3.x の最後 fully open バージョンを fork してピン留めし、0.4+ に追従しないのが賢明だろう。