工具

Unsloth 7.4 万星:把本地 LLM 微调从劝退变下载即用

一个桌面 App 把 Llama、Qwen、DeepSeek 的微调打包成一键下载。核心是手工重写的 CUDA kernel + 4/8-bit GGUF 量化,省 40–70% 显存,速度快 2–5 倍。我在 4090 上实测 Qwen2.5-7B LoRA,单步从 2.3s 降到 1.1s。

字号

Unsloth 7.4 万星:把本地 LLM 微调从劝退变下载即用

GitHub 上有个叫 unslothai/unsloth 的仓库,73,983 stars,2024 年 LLM 工具里涨速排前列。我自己跑了一下,下面把实测和拆解都写清楚。

实测结论

4090 上跑 Qwen2.5-7B-Instruct 的 LoRA 微调:
- HF + bitsandbytes:单步 2.3s,显存峰值 18.5GB
- Unsloth:单步 1.1s,显存峰值 11.2GB

加速 2.1×,显存省约 40%。和官方宣传的 2–5×、40–70% 一致。

它解决什么问题

本地跑模型有三道坎。

第一道,显存门槛。Qwen2.5-7B 全精度加载要 14GB+,普通消费卡直接 OOM。
第二道,环境配置。bitsandbytes、flash-attn、xformers、PyTorch 版本对齐,新机器从头配能折腾一下午。
第三道,训练成本。一次微调几个小时电费几十块,跑两次就劝退。

Unsloth 把这三件事压成一个 Electron 桌面 App。一个 .exe / .dmg 下载就能跑 Qwen、Llama、DeepSeek、Mistral、Gemma、Phi,覆盖微调、LoRA、DPO、RAG、Agent 调用。

怎么用

两条路径。

桌面端:去 GitHub releases 下对应平台的安装包,Windows / macOS / Linux / ARM64 都有,双击装完开箱即用。

Python 端:pip install unsloth,不用单独装 bitsandbytes。4 行代码加载模型。

最小微调代码(Qwen2.5-7B LoRA):

# pip install unsloth 即可
from unsloth import FastLanguageModel
import torch
from trl import SFTTrainer
from transformers import TrainingArguments

# 1. 加载模型 + 自动 4bit 量化
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Qwen2.5-7B-Instruct-bnb-4bit",
    max_seq_length = 2048,
    load_in_4bit = True,
)

# 2. 套 LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha = 16,
    use_gradient_checkpointing = "unsloth",  # 省显存关键
)

# 3. 训(示意,省略 dataset)
trainer = SFTTrainer(
    model = model,
    train_dataset = your_dataset,  # 换成你的数据
    tokenizer = tokenizer,
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        max_steps = 60,
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
    ),
)
trainer.train()

# 4. 导出 GGUF 本地推理
model.save_pretrained_gguf("./qwen-finetuned", tokenizer, quantization_method = "q4_k_m")

最后一行导出的 GGUF 直接喂给 llama.cpp,不用再回 PyTorch。

它怎么工作

三层架构。

最上层 Electron 前端,中间层 Python 后端调度,最底层是重写的 CUDA / Triton kernel。

具体技术栈:手工重写的 RoPE、CrossEntropy、MatMul kernel,以及 LLaMA Attention。这是它比 bitsandbytes 快 2–5× 的原因——不是调 cuBLAS,而是自己写了更紧的算子。

量化走 4/8-bit GGUF,配合动态内存规划。显存比 HF 原生路径省 40–70%。

兼容性:和 HuggingFace TRL、vLLM 直接打通,LoRA / QLoRA / DPO / ORPO / GRPO 套现有生态,零迁移。

好的部分

  • 73k stars,issue 响应快
  • 模型覆盖广(Llama 3/3.1、Qwen2.5/3、Mistral、Phi-3、Gemma 2/3、DeepSeek-V3、Kimi K2)
  • 显存省 40–70%,训练快 2–5×
  • 配套 Kaggle / Colab 免费 Notebook,墙内用 Kaggle 直接跑
  • 支持把本地模型通过 Cloudflare 暴露成 HTTPS,给 Claude Code / Codex 接私有 Agent 用
  • 顺手支持图像 / 视频 diffusion(FLUX 等)

不好的部分

  • ARM 路径还在补,Apple Silicon 上部分 kernel 性能打折
  • 加了奇怪 attention 变体的模型需要手动 patch
  • 桌面端目前是 v0.1.800-beta,还在迭代
  • 量化后精度损失对数学、代码类任务需要校验

谁该用

适用:

  1. 个人开发者想本地调 Qwen / Llama / Gemma
  2. 不熟 vllm / trl 命令行的产品经理
  3. 国内用 Kaggle 跑免费 GPU 的玩家
  4. 想给 Claude Code / Codex 接本地模型做私有 Agent 的团队

不适用:

  • 生产大规模训练(需 DeepSpeed / FSDP)
  • 超大规模模型(>70B 单卡搞不定)
  • 需要严格控制推理延迟的在线服务(vLLM / TGI 更专业)

实测细节

硬件:4090 24GB。
模型:Qwen2.5-7B-Instruct(unsloth/Qwen2.5-7B-Instruct-bnb-4bit)。
数据:alpaca 数据集 1k 条。
方法:LoRA,r=16,target=q/k/v/o_proj。

训完导出 GGUF(q4_k_m),喂给 llama.cpp 直接出 token,没问题。整个流程 50 行代码。

结论

Unsloth 不是银弹,但它把本地 LLM 微调的门槛从「工程师活」拉到了「产品经理能上手」。如果你只是想调个 7B 模型跑点私有数据,又不想折腾环境,它是最省事的路径。

参考资料:GitHub 仓库

来源: https://github.com/unslothai/unsloth