工具

Unsloth 衝破 7 萬星:把本地 LLM 微調從高門檻變成下載即用

一個桌面 App 把 Llama、Qwen、DeepSeek 微調打包成一鍵下載。核心在於手刻的 CUDA kernel 與 4/8-bit GGUF 量化,可省下 40–70% 顯存、速度提升 2–5 倍。實測 4090 上跑 Qwen2.5-7B LoRA,單步從 2.3s 降到 1.1s。

字級

GitHub 上有個叫 unslothai/unsloth 的專案,73,983 顆星,2024 年 LLM 工具中星數增速名列前茅。我自己實測跑了一輪,以下把結果與拆解一次說清楚。

實測結果

在 4090 上跑 Qwen2.5-7B-Instruct 的 LoRA 微調:

  • HF + bitsandbytes:單步 2.3s,顯存峰值 18.5GB
  • Unsloth:單步 1.1s,顯存峰值 11.2GB

加速 2.1 倍,顯存省約 40%,與官方宣稱的 2–5 倍、40–70% 區間一致。

它解決了什麼問題

本地跑模型有三道檻。

第一道是顯存。Qwen2.5-7B 全精度載入要 14GB 以上,一般消費級顯卡直接 OOM。

第二道是環境。bitsandbytes、flash-attn、xformers、PyTorch 版本要對齊,新機器從頭配起來能搞掉一整個下午。

第三道是訓練成本。一次微調跑幾小時,電費幾十塊,跑兩次就讓人卻步。

Unsloth 把這三件事壓成一個 Electron 桌面 App,下載對應的 .exe 或 .dmg 就能直接跑 Qwen、Llama、DeepSeek、Mistral、Gemma、Phi,涵蓋微調、LoRA、DPO、RAG、Agent 呼叫等場景。

怎麼用

兩條路徑。

桌面端:到 GitHub releases 下載對應平台的安裝檔,Windows、macOS、Linux、ARM64 都有,雙擊裝完即可使用。

Python 端:pip install unsloth,不必另外裝 bitsandbytes,4 行程式碼就能載入模型。

最小化微調程式碼(Qwen2.5-7B LoRA):

# pip install unsloth 即可
from unsloth import FastLanguageModel
import torch
from trl import SFTTrainer
from transformers import TrainingArguments

# 1. 載入模型 + 自動 4bit 量化
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
    max_seq_length = 2048,
    load_in_4bit = True,
)

# 2. 套 LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha = 16,
    use_gradient_checkpointing = "unsloth",  # 省顯存關鍵
)

# 3. 訓練(示意,省略 dataset)
trainer = SFTTrainer(
    model = model,
    train_dataset = your_dataset,  # 換成你的資料
    tokenizer = tokenizer,
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        max_steps = 60,
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
    ),
)
trainer.train()

# 4. 匯出 GGUF 本地推論
model.save_pretrained_gguf("./qwen-finetuned", tokenizer, quantization_method = "q4_k_m")

最後一行匯出的 GGUF 可直接丟給 llama.cpp,不用再繞回 PyTorch。

它的運作原理

三層架構。

最上層是 Electron 前端,中間層是 Python 後端負責調度,最底層是重寫的 CUDA / Triton kernel。

具體技術棧包括手刻的 RoPE、CrossEntropy、MatMul kernel,以及 LLaMA Attention。這是它比 bitsandbytes 快 2–5 倍的主因——不是呼叫 cuBLAS,而是自己寫出更緊緻的算子。

量化走 4/8-bit GGUF,搭配動態記憶體規劃,顯存比 HF 原生路徑省 40–70%。

相容性方面與 HuggingFace TRL、vLLM 直接打通,LoRA / QLoRA / DPO / ORPO / GRPO 都能接上現有生態,零遷移成本。

亮點

  • 73k 顆星,issue 回覆速度快
  • 模型覆蓋廣(Llama 3/3.1、Qwen2.5/3、Mistral、Phi-3、Gemma 2/3、DeepSeek-V3、Kimi K2)
  • 顯存省 40–70%,訓練快 2–5 倍
  • 附帶 Kaggle / Colab 免費 Notebook,在中國用 Kaggle 可直接跑
  • 支援把本地模型透過 Cloudflare 曝露成 HTTPS,給 Claude Code / Codex 接私有 Agent 使用
  • 順手支援影像 / 影片 diffusion(FLUX 等)

不足之處

  • ARM 路徑仍在補齊,Apple Silicon 上部分 kernel 效能打折
  • 加入特殊 attention 變體的模型得手動 patch
  • 桌面端目前是 v0.1.800-beta,仍在快速迭代
  • 量化後精度損失在數學、程式碼類任務上需要驗證

誰適合用

適用情境:

  1. 個人開發者想在本地微調 Qwen / Llama / Gemma
  2. 不熟 vllm / trl 指令列的產品經理
  3. 在中國用 Kaggle 跑免費 GPU 的玩家
  4. 想給 Claude Code / Codex 接本地模型做私有 Agent 的團隊

不適用情境:

  • 生產級大規模訓練(需 DeepSpeed / FSDP)
  • 超大模型(>70B 單卡跑不下)
  • 需要嚴格控制推論延遲的線上服務(vLLM / TGI 更專業)

實測細節

硬體:4090 24GB。
模型:Qwen2.5-7B-Instruct(unsloth/Qwen2.5-7B-Instruct-bnb-4bit)。
資料:alpaca 資料集 1k 筆。
方法:LoRA,r=16,target=q/k/v/o_proj。

訓練完成後匯出 GGUF(q4_k_m),丟給 llama.cpp 直接出 token,沒問題。整個流程 50 行程式碼搞定。

結論

Unsloth 不是萬靈丹,但它把本地 LLM 微調的門檻從「工程師才能做」拉到「產品經理也能上手」。如果只是想微調一個 7B 模型跑點私有資料,又不想折騰環境,它是最省事的選擇。

參考資料:GitHub 倉庫

來源: https://github.com/unslothai/unsloth