도구

Open WebUI 뜯어보기: 149k 스타의 로컬 AI 워크벤치, 진짜 강점은 뭔데

노트북에서 돌아가는 ChatGPT 대체재. Ollama, OpenAI API, RAG, 플러그인, 팀协作까지 지원하며 자체 호스팅 AI 프런트엔드 중 가장 규모가 크다. 배포부터 아키텍처까지 풀어본다.

글자 크기

GitHub의 open-webui/open-webui는 현재 149,333 스타를 기록 중이며(캡처 떠서 직접 셌다), 자체 호스팅 AI 프런트엔드 가운데 규모가 가장 크다. 하는 일은 단순하다. ChatGPT처럼 깔끔한 웹 인터페이스를 제공하면서 데이터는 내 머신 안에 그대로 남고, 모델은 로컬로 돌릴 수도, OpenAI, Claude, Groq 같은 클라우드 API를 붙일 수도 있다.

뜯어보면 일반적인 "ChatGPT外壳"보다 훨씬 복잡하다. 백엔드는 FastAPI, 프런트엔드는 SvelteKit, 자체 RAG 엔진, 4계층 플러그인 시스템, 네이티브 RBAC까지 들어 있다. 배포부터 아키텍처까지 한 번 살펴보자.

해결하려는 문제

로컬에서 모델을 돌리는 사람들(Ollama, LMStudio, vLLM 같은 도구 쓰는)은 한결같이 통합 웹 진입점이 부족하다고 느꼈다. 커맨드라인은 돌아가지만 편하지 않고, ChatGPT는 편하지만 데이터를 OpenAI에 넘겨야 하고, LobeChat은 가볍지만 플러그인과 권한 관리가 약하다.

Open WebUI는 그 중간에 자리한다. 자체 호스팅 LLM 프런트엔드로서 Ollama, OpenAI API, LMStudio, GroqCloud, Mistral, OpenRouter, vLLM을 RAG, 메모리, 플러그인, RBAC이 결합된 하나의 워크벤치로 묶어준다. localhost:3000 하나만 관리하면 되고, 백엔드는 자유롭게 갈아끼울 수 있다.

사용법

최소 배포:

# Open WebUI 최소 배포
# OpenAI 호환 API만 쓰고 로컬 Ollama는 붙이지 않음
docker run -d \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  -e OPENAI_API_KEY=sk-xxx \
  -e OPENAI_API_BASE_URL=https://api.openai.com/v1 \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

로컬 Ollama를 붙이려면 :ollama 태그로 바꾸고 host 네트워크를 추가한다.

# 먼저 호스트에서 `ollama serve` 실행
# 그다음 host 네트워크로 Open WebUI 기동
docker run -d \
  --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui \
  ghcr.io/open-webui/open-webui:ollama

브라우저에서 http://localhost:3000을 열면, 가장 먼저 가입한 계정이 자동으로 관리자가 된다. 공식 문서에는 pip, uv, Kubernetes(kustomize/helm) 배포 방법도 정리되어 있다.

동작 원리(아키텍처)

백엔드 FastAPI + 프런트엔드 SvelteKit, 전형적인 풀스택 구조다. 백엔드 코드량이 대략 5만 줄 파이썬으로, 규모가 작지 않다.

백엔드 어댑터 레이어: OpenAI 프로토콜과 호환되는 모든 백엔드(Ollama, vLLM, LMStudio, OpenRouter 등)는统一的 HTTP 프록시 레이어를 통과한다. Ollama 호환 프로토콜은 그대로 포워딩한다. 모델 제공자를 바꿔도 프런트엔드 설정을 건드릴 필요가 없다.

RAG 엔진: 문서 파싱이 내장돼 있어 PDF, Word, TXT를 그대로 넣을 수 있고, 자동 청킹 후 벡터화해 시스템 프롬프트에 주입한다. 한 가지 잘 만든 디테일이 있는데, # 인용 문법을 지원한다. 메시지에서 #파일명을 치면 해당 문서 조각이 컨텍스트로 주입돼서 긴 문서检索에 꽤 편리하다.

플러그인 시스템: 4계층 구조로 나뉘어 있으며, 이 프로젝트에서 가장 흥미로운 부분이다.

  • Filters: 메시지 전처리 훅. 요청 전/후에 메시지 내용을 수정할 수 있다.
  • Actions: UI 버튼으로 트리거되며, 커스텀 prompt 템플릿을 정의한다.
  • Pipes: 모델 호출 자체를 대체하며, 외부 파이프라인을 연결할 수 있다.
  • Tools: function calling 구현. MCP Server, MCPO Server, OpenAPI 엔드포인트를 외부로 꽂을 수 있다.

4계층이 "프롬프트 살짝 고치기"부터 "외부 도구 붙이기"까지 전 구간을 커버한다. Tools 레이어에서 MCP를 붙인 건 2024년 말 쯤인데, Agent 생태계 흐름에 어느 정도 맞춰 간 셈이다.

RBAC: user, group, permission 세 테이블로 구성되며, 모델·지식베이스·도구 단위까지 세밀하게 접근 권한을 통제할 수 있다. 예컨대 특정 그룹에만 GPT-4 사용을 허용하거나, 특정 유저에게만 특정 지식베이스를 노출하는 식이다. 설정 단위가 꽤 잘게 쪼개져 있다.

장점과 단점

기능 폭넓이가 강점이다. ChatGPT에 있는 거의 모든 기능—멀티 모델 전환, 대화 기록, Artifacts, 음성 입력, 이미지 생성—을 지원한다. ChatGPT에 없는 것도 여럿 있다. 로컬 모델, 플러그인, RAG, Channels(Slack처럼 메시지에서 모델을 @으로 호출하는 공유 대화 공간), Calendar(스케줄링 작업) 같은 것들. 커뮤니티는 openwebui.com에 모델 preset과 system prompt를 대량으로 공유하고 있어서 직접 튜닝할 일이 줄어든다.

약점은 덩치가 크다는 점. 149k 스타는 곧 요구사항 폭증, PR 폭증, 버그 폭증을 의미한다. 백엔드 5만 줄 파이썬, 프런트엔드만 idle 상태에서 메모리 800MB 이상 잡아먹는다. 가볍지 않다. 스킨을 바꾸거나 2차 개발하려고 하면 LobeChat보다 진입 장벽이 분명히 높다. 기능이 부풀어지면서 가끔 버그가 터지는데, 커뮤니티 피드백은 GitHub issue보다 Discord에 몰려 있어서 일부 이슈는 묻히고 끝난다.

안정성은 전반적으로 쓸 만하지만, 상용 제품 같은 SLA를 기대하면 안 된다.

직접 써본 후기

로컬에서 :ollama 태그 이미지를 띄우고 4090에 qwen2.5:14b를 올렸다.

첫 토큰 지연이 대략 1.2초, 처리량은 30+ token/s로 일상 대화엔 충분하다. RAG에는 200쪽짜리 PDF를 넣고 세부 질문(특정 파라미터 정의, 특정 챕터 결론 등)을 던져봤는데, 정확도가 베이스 모델보다 눈에 띄게 높았다. 이건 어찌 보면 당연하다. 벡터检索이 RAG의 본업이니까.

메모리 사용량: 프런트엔드 idle 기준 800MB, Ollama 백엔드는 모델 크기에 따라 다르다(14b 모델은 VRAM을 추가로 약 10GB 점유). 작은 모델(7b 이하)만 돌릴 거면 4090이 아깝다. 3060 12G나 MacBook M 시리즈로도 충분하다.

Channels 기능도 테스트해봤다. 동료 몇 명을 끌어들여 프롬프트를 공동 디버깅했는데, Slack 채널과 비슷하지만 각 메시지에서 모델을 @으로 호출할 수 있다. 팀 단위로 prompt engineering 리뷰를 해야 한다면, ChatGPT Plus 계정 공유보다 이쪽이 훨씬 낫다.

이런 사람에게 추천

맞는 경우:

  • 팀 단위 AI 진입점을 만들고 싶은 운영/기술 리드—RBAC과 감사 로그가 갖춰져 있다.
  • 데이터 프라이버시가 중요한 연구 팀—문서와 대화가 전부 로컬에 머문다.
  • 로컬과 클라우드 모델을 혼합해 쓰는 개인 개발자—하나의 화면에서 오갈 수 있다.

맞지 않는 경우:

  • 가벼운 채팅 인터페이스만 필요한 사용자—LobeChat이 더 단순하고 빠르다.
  • Docker를 손대기 싫은 완전 비개발자—Cherry Studio를 먼저 써보는 게 낫다. 더블클릭으로 설치 끝이다.
  • 안정성이 매우 중요한 운영 환경—이건 커뮤니티 프로젝트지 상용 제품이 아니다.

한 줄 정리: Open WebUI는 자체 호스팅 AI 프런트엔드 중 기능이 가장 풍부하고, 대가로 덩치와 복잡도가 따라온다. 로컬 채팅만 원하면 과하고, 팀 단위 AI 워크벤치가 필요하면 현재로선 더 나은 선택지가 보이지 않는다.

출처: https://github.com/open-webui/open-webui