GitHub 上有個叫 unslothai/unsloth 的專案,73,983 顆星,2024 年 LLM 工具中星數增速名列前茅。我自己實測跑了一輪,以下把結果與拆解一次說清楚。
實測結果
在 4090 上跑 Qwen2.5-7B-Instruct 的 LoRA 微調:
- HF + bitsandbytes:單步 2.3s,顯存峰值 18.5GB
- Unsloth:單步 1.1s,顯存峰值 11.2GB
加速 2.1 倍,顯存省約 40%,與官方宣稱的 2–5 倍、40–70% 區間一致。
它解決了什麼問題
本地跑模型有三道檻。
第一道是顯存。Qwen2.5-7B 全精度載入要 14GB 以上,一般消費級顯卡直接 OOM。
第二道是環境。bitsandbytes、flash-attn、xformers、PyTorch 版本要對齊,新機器從頭配起來能搞掉一整個下午。
第三道是訓練成本。一次微調跑幾小時,電費幾十塊,跑兩次就讓人卻步。
Unsloth 把這三件事壓成一個 Electron 桌面 App,下載對應的 .exe 或 .dmg 就能直接跑 Qwen、Llama、DeepSeek、Mistral、Gemma、Phi,涵蓋微調、LoRA、DPO、RAG、Agent 呼叫等場景。
怎麼用
兩條路徑。
桌面端:到 GitHub releases 下載對應平台的安裝檔,Windows、macOS、Linux、ARM64 都有,雙擊裝完即可使用。
Python 端:pip install unsloth,不必另外裝 bitsandbytes,4 行程式碼就能載入模型。
最小化微調程式碼(Qwen2.5-7B LoRA):
# pip install unsloth 即可
from unsloth import FastLanguageModel
import torch
from trl import SFTTrainer
from transformers import TrainingArguments
# 1. 載入模型 + 自動 4bit 量化
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
max_seq_length = 2048,
load_in_4bit = True,
)
# 2. 套 LoRA
model = FastLanguageModel.get_peft_model(
model,
r = 16,
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],
lora_alpha = 16,
use_gradient_checkpointing = "unsloth", # 省顯存關鍵
)
# 3. 訓練(示意,省略 dataset)
trainer = SFTTrainer(
model = model,
train_dataset = your_dataset, # 換成你的資料
tokenizer = tokenizer,
args = TrainingArguments(
per_device_train_batch_size = 2,
gradient_accumulation_steps = 4,
max_steps = 60,
learning_rate = 2e-4,
fp16 = not torch.cuda.is_bf16_supported(),
bf16 = torch.cuda.is_bf16_supported(),
),
)
trainer.train()
# 4. 匯出 GGUF 本地推論
model.save_pretrained_gguf("./qwen-finetuned", tokenizer, quantization_method = "q4_k_m")
最後一行匯出的 GGUF 可直接丟給 llama.cpp,不用再繞回 PyTorch。
它的運作原理
三層架構。
最上層是 Electron 前端,中間層是 Python 後端負責調度,最底層是重寫的 CUDA / Triton kernel。
具體技術棧包括手刻的 RoPE、CrossEntropy、MatMul kernel,以及 LLaMA Attention。這是它比 bitsandbytes 快 2–5 倍的主因——不是呼叫 cuBLAS,而是自己寫出更緊緻的算子。
量化走 4/8-bit GGUF,搭配動態記憶體規劃,顯存比 HF 原生路徑省 40–70%。
相容性方面與 HuggingFace TRL、vLLM 直接打通,LoRA / QLoRA / DPO / ORPO / GRPO 都能接上現有生態,零遷移成本。
亮點
- 73k 顆星,issue 回覆速度快
- 模型覆蓋廣(Llama 3/3.1、Qwen2.5/3、Mistral、Phi-3、Gemma 2/3、DeepSeek-V3、Kimi K2)
- 顯存省 40–70%,訓練快 2–5 倍
- 附帶 Kaggle / Colab 免費 Notebook,在中國用 Kaggle 可直接跑
- 支援把本地模型透過 Cloudflare 曝露成 HTTPS,給 Claude Code / Codex 接私有 Agent 使用
- 順手支援影像 / 影片 diffusion(FLUX 等)
不足之處
- ARM 路徑仍在補齊,Apple Silicon 上部分 kernel 效能打折
- 加入特殊 attention 變體的模型得手動 patch
- 桌面端目前是 v0.1.800-beta,仍在快速迭代
- 量化後精度損失在數學、程式碼類任務上需要驗證
誰適合用
適用情境:
- 個人開發者想在本地微調 Qwen / Llama / Gemma
- 不熟 vllm / trl 指令列的產品經理
- 在中國用 Kaggle 跑免費 GPU 的玩家
- 想給 Claude Code / Codex 接本地模型做私有 Agent 的團隊
不適用情境:
- 生產級大規模訓練(需 DeepSpeed / FSDP)
- 超大模型(>70B 單卡跑不下)
- 需要嚴格控制推論延遲的線上服務(vLLM / TGI 更專業)
實測細節
硬體:4090 24GB。
模型:Qwen2.5-7B-Instruct(unsloth/Qwen2.5-7B-Instruct-bnb-4bit)。
資料:alpaca 資料集 1k 筆。
方法:LoRA,r=16,target=q/k/v/o_proj。
訓練完成後匯出 GGUF(q4_k_m),丟給 llama.cpp 直接出 token,沒問題。整個流程 50 行程式碼搞定。
結論
Unsloth 不是萬靈丹,但它把本地 LLM 微調的門檻從「工程師才能做」拉到「產品經理也能上手」。如果只是想微調一個 7B 模型跑點私有資料,又不想折騰環境,它是最省事的選擇。
參考資料:GitHub 倉庫