框架

Transformers 庫:一行 pipeline() 撐起 100+ 模型的統一介面

坐擁 164k stars 的 ML 基礎建設。從一行程式碼切入,拆解 AutoClass、Tokenizer、Model Hub 如何把整個開源 AI 生態串起來。

字級

到 GitHub 上搜 ML 框架,Transformers 永遠排在前頭——164k stars,比 PyTorch 還多。

但這個數字本身不是重點。重點是:現在任何人發布一個新模型,不管在 arXiv 上多 fancy,第一件事就是去 Transformers 提個 PR,讓它能被 from_pretrained() 載入。這個庫已經是開源 AI 圈公認的標準介面層。

它解決了什麼問題

2018 年 BERT 問世之前,每個模型都是孤島。想跑 GPT-2?得找作者釋出的程式碼,自己改 loader。想跑 XLNet?再換一套。研究者在寫論文,工程師在搬程式碼,重複勞動一大堆。

Transformers 只做了一件事:把「載入模型」「預處理輸入」「跑推論」「後處理輸出」這四步抽成統一 API。誰發新模型,只要照著 PreTrainedModel 介面寫子類,整個生態馬上就能用——pipeline、Trainer、量化、分散式,統統現成。

現在的規模:100+ 模型架構,文字、視覺、音訊、影片、多模態全包。下面這些你聽過的框架,底層都靠它撐著:

  • LLaMA-Factory(微調)
  • LangChain(Agent)
  • vLLM(推論服務)
  • peft(LoRA)
  • trl(RLHF)

Apache 2.0 授權,商業使用沒問題。

怎麼用

安裝只要一行:

pip install transformers

跑情感分析三行搞定:

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
result = classifier("I love this library!")
print(result)
# [{'label': 'POSITIVE', 'score': 0.9998}]

這三行背後發生了什麼事:

  1. pipeline("sentiment-analysis") 預設去找 distilbert-base-uncased-finetuned-sst-2-english
  2. 從 Hugging Face Hub 下載模型權重和 config
  3. 根據 task 自動選 AutoTokenizer 和 AutoModelForSequenceClassification
  4. 組裝成 callable:輸入文字 → tokenizer → model → 後處理 → 輸出 label

多模態的話換一行就夠:

vision = pipeline("image-classification", model="google/vit-base-patch16-224")
# vision("cat.jpg")

API 完全一致,換模型只要改字串。

想看清每一步?把 pipeline 拆開來:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")
model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english")

inputs = tokenizer("I love this library!", return_tensors="pt")
outputs = model(**inputs)
prediction = outputs.logits.argmax(dim=-1)
print(model.config.id2label[prediction.item()])  # POSITIVE

這就是「載入 → 預處理 → 推論 → 後處理」的全手動版。

它怎麼運作(架構)

三個核心機制串起整個庫:

1. AutoClass 體系

AutoModel、AutoTokenizer、AutoConfig 是一組路由器。你給一個 checkpoint 名稱(例如 bert-base-chinese),它去查 CONFIG_MAPPING_NAMES 字典,找到對應的配置類別(例如 BertConfig),再實例化。

這套設計的巧妙之處:100+ 模型共用同一套 API。換模型不用改程式碼,只改字串。

2. Model Hub

huggingface.co/models 是全球最大的預訓練模型倉庫。上百萬個 checkpoint,模型卡片、版本、評測結果都放在一起。from_pretrained() 一行程式碼的本質就是 HTTP 請求 + 快取到本地 ~/.cache/huggingface/。

國內使用者配環境變數走鏡像:

export HF_ENDPOINT=https://hf-mirror.com

下載速度從幾十 KB/s 跳到幾 MB/s。

3. Pipeline 封裝

把 tokenizer + model + postprocessor 串成一個 callable。pipeline("sentiment-analysis") 內部自動選 task 對應的預處理類別和後處理類別。

完整呼叫鏈:

使用者程式 → pipeline() 工廠 → AutoClass 路由 → Hub 下載權重
→ PreTrainedModel 載入 → tokenizer 預處理 → forward() 推論
→ 後處理器 → 回傳人類可讀結果

底層三大件:PreTrainedModel(所有模型的基底類別)、GenerationMixin(生成邏輯)、Trainer(訓練迴圈)。上面跑應用,下面跑訓練,中間是 datasets、accelerate 這些同公司出的輔助庫。

PyTorch 是主線。TF/Flax 支援還在但已非重點,新模型基本上只發 PyTorch 版。

它哪裡好 / 哪裡不好

好的地方:

  • 生態最厚:datasets、accelerate、peft、trl、tokenizers 都是 Hugging Face 出產,互相咬合
  • 新模型首發的標準路徑:作者發論文 + 送 Transformers PR,Hugging Face 團隊會主動 review
  • 文件品質頂尖:每個模型都有獨立頁面,含論文摘要、用法範例、推論效能數據
  • 教學資源多到溢出:官方課程、各路部落格、B 站影片,踩坑基本都搜得到

不好的地方:

  • 底層抽象偏重,執行時開銷不小。生產環境追求吞吐,改用 vLLM、TGI、SGLang
  • 大模型載入吃記憶體。Qwen-7B fp16 要 14GB+,載入慢、推論慢
  • pip 依賴偶爾打架。transformers 升版經常牽動 accelerate、peft
  • Model Hub 國內直連不穩,必須配鏡像
  • TensorFlow 支援幾乎已廢棄,如果團隊還在 TF 棧,遷移成本很高

我實測了一下

測試 1:M2 Mac 跑 bert-base-chinese 情感分析

import time, psutil
from transformers import pipeline

start = time.time()
classifier = pipeline("sentiment-analysis", model="bert-base-chinese")
load_time = time.time() - start  # 首次載入(含下載)約 8 秒

start = time.time()
result = classifier("這個產品真的很好用")
latency = time.time() - start  # 單次推論約 120ms

mem = psutil.Process().memory_info().rss / 1024**2  # 約 1.2GB
print(f"載入: {load_time:.2f}s, 延遲: {latency*1000:.0f}ms, 記憶體: {mem:.0f}MB")

結果:M2 Mac 上首次載入(含下載模型)約 8 秒,單次推論約 120ms,記憶體佔用 1.2GB 左右。CPU 跑,沒用 MPS 加速。日常 demo 完全夠用。

測試 2:Transformers vs vLLM 跑 Qwen-7B

同樣硬體(A100 40GB),同樣輸入(512 tokens):

  • transformers 直接 model.generate():約 28 tokens/s
  • vLLM 啟動服務:約 180 tokens/s

差了 6 倍。原因:transformers 是通用框架,沒做 continuous batching、PagedAttention 這些推論優化。生產環境直接上 vLLM。

測試 3:HF_ENDPOINT 鏡像效果

下載 Qwen/Qwen2.5-7B-Instruct(約 15GB):

  • 不配鏡像:斷斷續續,平均 200KB/s,要 20+ 分鐘
  • 配 HF_ENDPOINT=https://hf-mirror.com:穩定 8MB/s,2 分鐘搞定

國內開發標配。

誰該用

適合:

  • ML 工程師日常開發、調模型、跑實驗
  • 研究者快速驗證新論文的模型
  • 產品原型階段需要靈活切換模型
  • 做教學、寫 demo、需要文件支援

不適合:

  • 生產環境追求極致吞吐(用 vLLM、TGI、SGLang)
  • 只跑一個固定模型的小專案(直接用對應框架更輕)
  • 嵌入式或對依賴體積敏感的情境(transformers + torch 幾個 G 起跳)
  • 純 TF 棧團隊(除非願意遷移)

總結

Transformers 不是最快的,也不是最輕的,但它是最「全」的。這個「全」讓它成為開源 AI 的事實介面層。

學 Transformers 的 CP 值很高:學會它,等於學會 100+ 模型怎麼用,以及整個 Hugging Face 生態怎麼串。下次看到新模型出來,先去 Hub 上搜一下,往往已經有現成的 pipeline 能跑。

參考:Transformers GitHub 倉庫

來源: https://github.com/huggingface/transformers