GitHub 上 open-webui/open-webui 目前掛著 149,333 stars(截圖當下數的),是自架 AI 前端裡規模最大的一個。它做的事情其實不複雜:提供一個像 ChatGPT 那樣漂亮的網頁介面,但資料全部留在自己的機器上,模型可跑本地,也能串接 OpenAI、Claude、Groq 等雲端 API。
拆開來看,這個專案比一般的「ChatGPT 套殼」複雜不少——後端 FastAPI、前端 SvelteKit、內建 RAG 引擎、四層外掛系統、原生 RBAC。底下從部署一路聊到架構。
它在解決什麼問題
本地跑模型的人(用 Ollama、LMStudio、vLLM 這類工具)一直缺少一個統一的網頁入口。命令列能用,但不夠舒服;ChatGPT 好用,但資料交給了 OpenAI;LobeChat 輕量,但外掛和權限管理偏弱。
Open WebUI 卡在中間——一個自架的 LLM 前端,把 Ollama、OpenAI API、LMStudio、GroqCloud、Mistral、OpenRouter、vLLM 整合成一套帶 RAG、記憶、外掛、RBAC 的工作平台。只需要管一個 localhost:3000,後端模型隨意切換。
怎麼用
最精簡的部署:
# Open WebUI 最小化部署
# 只用 OpenAI 兼容 API,不掛本地 Ollama
docker run -d \
-p 3000:8080 \
-v open-webui:/app/backend/data \
-e OPENAI_API_KEY=sk-xxx \
-e OPENAI_API_BASE_URL=https://api.openai.com/v1 \
--name open-webui \
ghcr.io/open-webui/open-webui:main
想掛本地 Ollama,改用 :ollama tag 並開啟 host 網路:
# 先在宿主機跑 `ollama serve`
# 再用 host 網路拉起 Open WebUI
docker run -d \
--network=host \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
--name open-webui \
ghcr.io/open-webui/open-webui:ollama
瀏覽器打開 http://localhost:3000,第一個註冊的帳號自動成為管理員。官方還提供 pip、uv、Kubernetes(kustomize/helm)等部署方式,文件裡都寫得很清楚。
它怎麼運作(架構)
後端 FastAPI 加前端 SvelteKit,典型的全棧組合。後端程式碼約五萬行 Python,規模不小。
後端接入層:所有相容 OpenAI 協議的後端(Ollama、vLLM、LMStudio、OpenRouter 等)走同一層 HTTP 轉發,Ollama 相容協議直接轉送。換模型供應商不需要動前端設定。
RAG 引擎:內建文件解析(PDF、Word、TXT 都支援),自動切片向量化後塞進系統提示詞。有個細節做得不錯——支援 # 引用語法,在訊息裡打 #檔名 會把對應的文件片段注入上下文,處理長文件檢索時相當方便。
外掛系統:分成四層,是整個專案最值得玩味的部分:
- Filters:訊息預處理鉤子,能在請求前後改寫訊息內容
- Actions:UI 按鈕觸發,執行自訂 prompt 範本
- Pipes:取代整個模型呼叫流程,可串接外部 pipeline
- Tools:function calling 實作,能外接 MCP Server、MCPO Server 或 OpenAPI 端點
這四層涵蓋了從「改個 prompt」到「掛外部工具」的完整光譜。Tools 層接 MCP 是 2024 年底加上的,跟上了 Agent 生態的腳步。
RBAC:使用者、群組、權限三張表,能精細控制到每個模型、每個知識庫、每個工具的存取權限。例如只讓某個群組用 GPT-4,或只讓某位使用者看特定知識庫,設定顆粒度很細。
優點與缺點
強在功能廣度。ChatGPT 該有的功能它大致都有——多模型切換、對話歷史、Artifacts、語音輸入、影像生成。ChatGPT 沒有的它也有:本地模型、外掛、RAG、Channels(類似 Slack 的共用對話空間,可在訊息裡 @ 模型)、Calendar(排程任務)。社群在 openwebui.com 分享了大量模型 preset 和 system prompt,省去自己調校的功夫。
弱在大而全。149k stars 代表需求爆量、PR 爆量、bug 也爆量。後端五萬行 Python,純前端空載記憶體就要 800MB 以上,份量不輕。想換皮或做二次開發,門檻比 LobeChat 高出一截。功能膨後零星 bug 難免,社群回饋主要在 Discord 而非 GitHub issue,有些問題丟出去就石沉大海。
穩定性整體還行,但別期待它像商業產品那樣有 SLA 保障。
實測記錄
本地用 :ollama tag 映像檔拉起,配一張 4090 跑 qwen2.5:14b。
首 token 延遲約 1.2 秒,吞吐 30+ token/s,日常對話綽綽有餘。RAG 了一份 200 頁的 PDF,問了幾個細節問題(某個參數的具體定義、某章節的結論),回答準確率明顯高於裸模型——這不意外,向量化檢索本來就是 RAG 的本職。
記憶體用量:純前端空載 800MB,加上 Ollama 後端要看模型大小(14b 模型大約再佔 10GB 顯示卡記憶體)。如果只跑小模型(7b 以下),4090 會浪費不少,可以考慮 3060 12G 或 MacBook M 系列。
Channels 功能也試了一下,能拉幾位同事進來共同調 prompt,類似 Slack 頻道但每則訊息都能 @ 模型。實務上若團隊要做 prompt 工程評審,這功能比共用 ChatGPT Plus 帳號來得順手。
誰適合用
適合:
- 想替團隊架設統一 AI 入口的運維或技術負責人——RBAC 與稽核日誌齊全
- 重視資料隱私的研究團隊——文件、對話全部留在本地
- 需要本地加雲端模型混用的個人開發者——一個介面就能切換
不適合:
- 只要一個輕量聊天介面的使用者——LobeChat 更單純、啟動更快
- 不想碰 Docker 的純新手——建議先試 Cherry Studio,本地雙擊就能裝
- 對穩定性要求極高的正式環境——這是社群專案,不是商業產品
一句話總結:Open WebUI 是自架 AI 前端裡功能最完整的,代價是份量與複雜度。如果只想本地聊聊天,它太重了;但要做團隊級的 AI 工作平台,目前還沒看到比它更好的選擇。