Ollama가 뭔가? 한 줄로 말하면 로컬 LLM 추론을 "박사급 CUDA 세팅"에서 "Node.js 설치하듯" 수준으로 낮춰놓은 런타임이다.
GitHub 179k 스타, Go로 작성된 모놀리식 서비스, 내부에서 ggml-org/llama.cpp를 바인딩한다. curl install.sh | sh 한 줄이면 끝. 이런 제품 형태가 지난 2년 동안 로컬 LLM의 사실상 표준이 됐다. Ollama를 직접 안 쓰더라도, 쓰는 도구가 Ollama API를 호출하고 있을 가능성이 높다.
이번 글에서는 그것을 분해해 본다.
무엇을 해결하는가
대규모 모델 추론은 원래 진입장벽이 높은 영역이었다.
- VRAM 요구량이 크다 (4090 한 장으로 7B도 빠듯)
- 양자화 알고리즘 선택 (GPTQ? AWQ? GGUF Q4_K_M?)
- CUDA, cuBLAS, ROCm 의존성 설치에 반나절
- 가중치는
.bin이나.safetensors로 받아지며, 실행하려면 Python 스크립트도 필요
Ollama는 이 모든 것을 단일 바이너리에封装했다. 다운로드, 양자화, 로딩, 추론, HTTP 서비스가 전부 들어 있다. 목표는 "curl 한 줄이면 쓸 수 있다". 비유하자면, 컨테이너 세계의 Docker 같은 위치가 LLM 세계에서의 Ollama다.
이것의 진짜 가치는 기술의 깊이가 아니라, 진입장벽을 엔지니어급에서 일반인급으로 끌어내렸다는 데 있다.
사용 방법
최소 3단계: install → run → chat.
# 1. 설치(macOS/Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 2. 모델 받고 대화
ollama run gemma3
# 3. REST API 호출
curl http://localhost:11434/api/chat -d '{
"model": "gemma3",
"messages": [{"role": "user", "content": "Why is the sky blue?"}],
"stream": false
}'
# 4. Python SDK
from ollama import chat
resp = chat(model='gemma3', messages=[
{'role': 'user', 'content': 'Why is the sky blue?'}
])
print(resp.message.content)
서비스는 기본적으로 :11434에서 뜨며 OpenAI 호환 REST API를 제공한다. pip install ollama로 공식 SDK를 받으면 두 줄로 대화가 끝나고, 프런트엔드용으로는 ollama-js가 있다.
이 API 호환성이 핵심이다. Claude Code, Codex 같은 Agent 도구들의 base_url만 바꿔주면 로컬 Ollama가 추론을 맡는다. 클라우드 API 종속을 한 층 끊어내는 셈이다.
동작 원리
Ollama는 Go 모놀리식 서비스지만, 내부는 4개 계층으로 나뉜다.
┌─────────────────────────────────────────┐
│ ① CLI / Server Entry (Gin + cobra) │
│ - ollama run / pull / serve │
│ - HTTP listen :11434 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ② Model Registry + Modelfile 파서 │
│ - GGUF / Safetensors 가중치 인덱싱 │
│ - Chat template + 양자화 설정 │
│ - 모델을 주소 가능·버전 관리 가능한 객체로 변환 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ③ llama.cpp CGo 바인딩 계층 │
│ - 동적 라이브러리 로딩 │
│ - ggml-org/llama.cpp 호출 │
│ - Metal / CUDA / ROCm / Vulkan 백엔드 │
└─────────────┬───────────────────────────┘
│
┌─────────────▼───────────────────────────┐
│ ④ Scheduler │
│ - 다중 모델 동시 로드/언로드 │
│ - LRU VRAM 관리 │
│ - 요청 큐 + 스트리밍 응답 분할 │
└─────────────────────────────────────────┘
몇 가지 핵심 포인트:
Modelfile은 Ollama의 모델 정의 DSL로, Dockerfile과 비슷하다. FROM qwen2.5-coder:7b, SYSTEM "당신은 번역가입니다", PARAMETER temperature 0.7 같은 문법으로 모델 가중치 + 프롬프트 템플릿 + 추론 파라미터를 하나의 주소 가능한 객체로 묶는다. 덕분에 모델도 git으로 관리할 수 있게 됐다.
llama.cpp 바인딩은 CGo로 동작하며, Ollama는 행렬 곱셈을 직접 구현하지 않는다. 추론 성능, 양자화, KV cache 전부를 upstream ggml-org/llama.cpp에 의존한다. 즉 Ollama의 추론 천장 = llama.cpp의 천장이라는 의미이기도 하다.
Scheduler는 과소평가되는 계층이다. Ollama는 여러 모델을 동시에 올려도 제약을 걸지 않지만, VRAM은 유한하다. Scheduler가 LRU 언로드, 타임아웃 회수, 동시 요청 큐잉을 담당한다. 두 모델이 VRAM을 두고 충돌하면 "기존 모델이 밀려나고 재로드에 몇 초 걸린다"는 형태로 체감된다.
플랫폼 백엔드도 꽤 잘 갖춰져 있다. macOS는 Metal, Linux는 CUDA + ROCm + Vulkan, Windows는 CUDA. 단일 바이너리가 주요 플랫폼을 커버하니 개발자가 백엔드를 고를 필요가 없다.
장점과 단점
장점
플랫폼 간 일관된 경험. Mac/Win/Linux/Docker 어디에 깔아도 사용법이 같다. 노트북을 바꿀 때마다 새로 배울 필요가 없다는 점이 개발자 경험에 큰 영향을 준다.
모델 허브 통합. ollama pull 한 줄로 Gemma, Qwen, DeepSeek, Kimi, GLM 같은 주요 오픈소스 가중치를 받아온다. 수십 개 모델을 공식 라이브러리에서 지원하고, 커뮤니티 양자화 버전이나 LoRA 머지 버전도 private registry로 push할 수 있다.
OpenAI-compatible API. 비즈니스 전략상 영리한 선택이다. /v1/chat/completions 엔드포인트가 OpenAI와 동일해서, Claude Code, Codex, LangChain, LlamaIndex처럼 OpenAI 호환 도구들이 base_url만 바꾸면 동작한다. OpenAI 생태계의 전환 비용을 그대로 가져오는 셈이다.
Modelfile로 모델이 버전 관리 가능한 자산이 된다. 예전에는 모델이 그냥 .bin 파일이라 관리 대상이 아니었다. Modelfile + 태그 시스템 덕분에 Dockerfile 같은 재현성을 모델 영역에 들여왔다.
생태계가 넓다. Open WebUI, LibreChat, Lobe Chat 같은 프런트엔드가 Ollama API에 직접 붙는다. 하나의 런타임 위에서 여러 UI 도구가 자라난 구조다.
단점
단일 머신 한계. Ollama는 멀티 노드 분산 추론을 제공하지 않는다. 한 머신의 VRAM이 곧 모델 크기의 상한이다. 70B+ 풀 정밀도를 돌리려면 단일 머신에 VRAM을 쌓거나 다른 솔루션을 써야 한다.
양자화 전략이 상대적으로 고정적이다. Ollama가 노출하는 양자화 프리셋(Q4_0, Q4_K_M, Q8_0 등)은 미리 정의된 값이다. 양자화 파라미터를 세밀하게 튜닝하려면 llama.cpp로 돌아가야 한다. vLLM 같은 서버가 양자화 제어 측면에서는 더 유연하다.
Go 모놀리스의 대가. 추론 로직을 손보고 싶다면? llama.cpp를 고치고 Ollama의 CGo 바인딩을 다시 빌드해야 한다. 순수 Python 스택보다 반복 주기가 길다.
부분 폐쇄화 흐름. 0.4 버전 이후 server 모듈 일부가 비공개로 전환돼 커뮤니티에서 논란이 있었다. GitHub issue에서 관련 논의가 진행됐고 입장이 갈린다. 장기적인 개방성에 대한 의문이 남는 대목이다.
동종 솔루션과 가로로 비교해 보면:
- Ollama: 로컬 런타임, CLI 우선 / 빠른 진입, 가장 넓은 생태계 / 추론 성능은 최적이 아님, 폐쇄화 흐름
- LM Studio: GUI 프런트엔드 / 비엔지니어에게 친숙한 UI / 비공개, 기능 제한
- vLLM: 서버형 추론 엔진 / 강력한 성능(PagedAttention), 프로덕션급 / 배포 복잡, 로컬 디버깅 진입장벽 높음
- llama.cpp: 저수준 C++ 엔진 / 가장 유연, 성능 극한까지 가능 / 그대로 쓰기엔 진입장벽 높음, HTTP 서비스 없음
Ollama는 "최고 성능"이 아니라 "충분히 빠르고 충분히 쉽게"라는 노선을 선택했다. 어쨌든 트레이드오프다.
직접 돌려봤다
M2 Max 64GB, 통합 메모리.
베이스라인: qwen2.5-coder:7b
- 콜드 스타트 → 첫 토큰: 약 1.8초
- 지속 생성: 약 38 token/s
- 상주 메모리: 약 5GB
업그레이드: 32B Q4_K_M 양자화
- 첫 토큰: 약 3.2초
- 지속 생성: 약 11 token/s
- 8k context 코드 자동완성 작업은 무난
동시성 테스트: 7B + 13B 두 모델을 동시에 띄우니 VRAM이 빠듯해지면서 Scheduler가 LRU 언로드를 트리거했다. 기존 모델 재로딩에 4.5초가 걸렸고 그 사이 요청은 블로킹됐다. 개선 여지가 있는 부분이다. 이상적이라면 워밍업을 하거나 동시 실행을 아예 막아야 한다.
종합하면, 7B급 일상 작업은 매끄럽고, 32B 양자화 버전은 진지한 작업에 쓸 만하지만 빠르지는 않다. 프로덕션에서 70B+를 돌리고 싶다면 제대로 된 추론 서비스를 별도로 띄우는 편이 낫다.
누구에게 적합한가
적합한 대상:
- Agent 로컬 디버깅, 모델 선정 비교 작업을 하는 개발자
- 오프라인 데모, 금융/의료처럼 데이터 외부 반출이 불가능한 프라이버시 민감 시나리오
- OpenAI API 비용에 종속되고 싶지 않은 소규모 팀
- Claude Code / Codex를 로컬 추론으로 연결하고 싶은 Agent 개발자
부적합한 대상:
- 70B+ 풀 정밀도로 진지한 평가가 필요한 경우 (vLLM/SGLang 쪽이 맞다)
- 프로덕션 환경 고동시성 추론 (설계 목표가 아니다)
- 학습 또는 파인튜닝 (unsloth / LLaMA-Factory 영역)
- Windows에서 GPU 극한 성능이 필요한 경우 (Mac/Linux 백엔드가 더 안정적이고, Windows CUDA는 호환성 이슈가 간헐적으로 발생한다)
마무리
Ollama는 성능 최강의 로컬 추론 솔루션도 아니고, 가장 유연한 솔루션도 아니다. 하지만 "로컬에서 대형 모델을 돌린다"는 경험의 제품화 수준을 끌어올렸다는 점에서 의미가 있다. 결국 대부분의 엔지니어가 정말로 신경 쓰는 부분이다.
Docker도 "한 줄 명령으로 실행"이라는 단순함으로 복잡한 LXC 시장을 제압했다. Ollama는 로컬 LLM 영역에서 같은 시나리오를 재현하고 있다.
폐쇄화 흐름은 장기적으로 주시할 만하다. Ollama를 프로덕션 인프라로 쓸 계획이라면 0.3.x 마지막 풀 오픈소스 버전을 fork해서 핀 고정해 두고, 0.4+를 따라가지 않는 편이 안전하다.
참고 자료: Ollama GitHub 저장소, llama.cpp 프로젝트, Ollama 공식 문서.