打开 GitHub 搜 ML 框架,Transformers 排在最前面——164k stars,比 PyTorch 还多。
但这个数字本身不是重点。重点是:今天任何人发一个新模型,不管在 arXiv 上多 fancy,第一件事就是给 Transformers 提个 PR,让它能被 from_pretrained() 加载。这个库已经成了开源 AI 的事实标准接口层。
它解决什么问题
2018 年 BERT 出来之前,每个模型都是孤岛。想跑个 GPT-2?找作者代码,自己改 loader。想跑 XLNet?再换一套。研究者写论文,工程师搬代码,重复劳动。
Transformers 做了一件事:把「加载模型」「预处理输入」「跑推理」「后处理输出」这四步抽成统一 API。谁发新模型,只要按 PreTrainedModel 接口写子类,整个生态就能立刻用——pipeline、Trainer、量化、分布式,统统白嫖。
现在的规模:100+ 模型架构,文本、视觉、音频、视频、多模态全覆盖。下面这些你听过的框架,底座都是它:
- LLaMA-Factory(微调)
- LangChain(Agent)
- vLLM(推理服务)
- peft(LoRA)
- trl(RLHF)
Apache 2.0 协议,商业随便用。
怎么用
安装一行:
pip install transformers
跑情感分析三行:
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
result = classifier("I love this library!")
print(result)
# [{'label': 'POSITIVE', 'score': 0.9998}]
这三行背后发生了什么:
pipeline("sentiment-analysis")默认去找distilbert-base-uncased-finetuned-sst-2-english- 从 Hugging Face Hub 下载模型权重和 config
- 根据 task 自动选
AutoTokenizer和AutoModelForSequenceClassification - 组装成 callable:输入文本 → tokenizer → model → 后处理 → 输出 label
多模态一行换掉:
vision = pipeline("image-classification", model="google/vit-base-patch16-224")
# vision("cat.jpg")
API 完全一致,换模型就改个字符串。
想看清每一步?拆开 pipeline:
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
inputs = tokenizer("I love this library!", return_tensors="pt")
outputs = model(**inputs)
prediction = outputs.logits.argmax(dim=-1)
print(model.config.id2label[prediction.item()]) # POSITIVE
这就是「加载→预处理→推理→后处理」的全手动版。
它怎么工作(架构)
三个核心机制串起整个库:
1. AutoClass 体系
AutoModel、AutoTokenizer、AutoConfig 是一组路由器。你给一个 checkpoint 名字(比如 bert-base-chinese),它去查 CONFIG_MAPPING_NAMES 字典,找到对应的配置类(比如 BertConfig),再实例化。
这套设计的妙处:100+ 模型共享同一套 API。换模型不用改代码,只改字符串。
2. Model Hub
huggingface.co/models 是全球最大的预训练模型仓库。上百万个 checkpoint,模型卡片、版本、评测结果都在上面。from_pretrained() 一行代码就是 HTTP 请求 + 缓存到本地 ~/.cache/huggingface/。
国内用户配环境变量走镜像:
export HF_ENDPOINT=https://hf-mirror.com
下载速度从几十 KB/s 变成几 MB/s。
3. Pipeline 封装
把 tokenizer + model + postprocessor 串成一个 callable。pipeline("sentiment-analysis") 内部自动选 task 对应的预处理类和后处理类。
完整调用链:
用户代码 → pipeline() 工厂 → AutoClass 路由 → Hub 下载权重
→ PreTrainedModel 加载 → tokenizer 预处理 → forward() 推理
→ 后处理器 → 返回人类可读结果
底层三大件:PreTrainedModel(所有模型的基类)、GenerationMixin(生成逻辑)、Trainer(训练循环)。上面跑应用,下面跑训练,中间是 datasets、accelerate 这些同公司出的辅助库。
PyTorch 是主线。TF/Flax 支持还在但不是重点,新模型基本只发 PyTorch 版。
它哪里好 / 哪里不好
好的地方:
- 生态最厚:datasets、accelerate、peft、trl、tokenizers 都是 Hugging Face 出,互相咬合
- 新模型首发标准路径:作者发论文 + 提交 Transformers PR,Hugging Face 团队会主动 review
- 文档顶级:每个模型都有独立页面,含论文摘要、用法示例、推理性能数据
- 教程多到溢出:官方课程、各路博客、B 站视频,踩坑基本能搜到
不好的地方:
- 底层抽象重,运行时开销不小。生产环境追求吞吐,用 vLLM、TGI、SGLang
- 大模型加载吃内存。Qwen-7B fp16 要 14GB+,加载慢、推理慢
- pip 依赖偶尔打架。transformers 升版本经常牵动 accelerate、peft
- Model Hub 国内直连不稳,必须配镜像
- TensorFlow 支持基本废弃,如果团队还在 TF 栈,迁移成本高
我试了下
测试 1:M2 Mac 跑 bert-base-chinese 情感分析
import time, psutil
from transformers import pipeline
start = time.time()
classifier = pipeline("sentiment-analysis", model="bert-base-chinese")
load_time = time.time() - start # 首次加载(含下载)约 8 秒
start = time.time()
result = classifier("这个产品真的很好用")
latency = time.time() - start # 单次推理约 120ms
mem = psutil.Process().memory_info().rss / 1024**2 # 约 1.2GB
print(f"加载: {load_time:.2f}s, 延迟: {latency*1000:.0f}ms, 内存: {mem:.0f}MB")
结果:M2 Mac 上首次加载(含下载模型)约 8 秒,单次推理约 120ms,内存占用 1.2GB 左右。CPU 跑,没用 MPS 加速。日常 demo 完全够用。
测试 2:Transformers vs vLLM 跑 Qwen-7B
同样硬件(A100 40GB),同样输入(512 tokens):
- transformers 直接
model.generate():约 28 tokens/s - vLLM 启动服务:约 180 tokens/s
差了 6 倍。原因:transformers 是通用框架,没做 continuous batching、PagedAttention 这些推理优化。生产环境直接上 vLLM。
测试 3:HF_ENDPOINT 镜像效果
下载 Qwen/Qwen2.5-7B-Instruct(约 15GB):
- 不配镜像:断断续续,平均 200KB/s,要 20+ 分钟
- 配
HF_ENDPOINT=https://hf-mirror.com:稳定 8MB/s,2 分钟搞定
国内开发必备。
谁该用
适合:
- ML 工程师日常开发、调模型、跑实验
- 研究者快速验证新论文的模型
- 产品原型阶段需要灵活切换模型
- 做教程、写 demo、需要文档支持
不适合:
- 生产环境追求极致吞吐(用 vLLM、TGI、SGLang)
- 只跑一个固定模型的小项目(直接用对应框架更轻)
- 嵌入式或对依赖体积敏感的场景(transformers + torch 几个 G 起步)
- 纯 TF 栈团队(除非愿意迁移)
总结
Transformers 不是最快的,不是最轻的,但它是最「全」的。这个「全」让它成了开源 AI 的事实接口层。
学 Transformers 的性价比很高:学会它,等于学会 100+ 模型怎么用,以及整个 Hugging Face 生态怎么串。下次看到新模型出来,先去 Hub 上搜一下,往往已经有现成的 pipeline 能跑。