GitHub 上談 LLM 的專案多到數不完,但能把整個 GPT 從 forward 寫到 SFT/DPO、每個層都拆到底的,目前最完整的之一:rasbt/LLMs-from-scratch。作者 Sebastian Raschka,Lightning AI 的研究科學家,出版過《Machine Learning with PyTorch and Scikit-Learn》;這本新書《Build a Large Language Model (From Scratch)》由 Manning 出版(ISBN 9781633437166),書裡的完整程式碼就收在這個 repo。
它解決了什麼問題
想弄懂 LLM 內部運作的人,撞到的牆都一樣:
- HuggingFace 的套件教學太多,
AutoModelForCausalLM.from_pretrained一行搞定,但矩陣裡到底算什麼你完全不知道。 - 論文讀後感太多,attention 公式抄一遍,但程式碼怎麼落地完全沒談。
這個 repo 的做法更直接:用約 400 行 PyTorch,從 token embedding → multi-head attention → LayerNorm → 預訓練 → SFT 完整跑一輪。程式碼全部包在 Jupyter Notebook 裡,每個 nn.Module 都拆到底,沒藏任何抽象層。
跑完一輪,你至少能講清楚:(1) 為什麼 d_out % num_heads == 0;(2) causal mask 怎麼用上三角矩陣實現;(3) SFT 和預訓練的 loss 差在哪;(4) DPO 的隱式 reward 怎麼從 ref 模型抽出來。
怎麼用
clone 下來是按章節組織的 Jupyter Notebook,建議依序閱讀:
ch02_text_data.ipynb— tokenizer + sliding window 資料集ch03_coding_attention_mechanisms.ipynb— 4 種 self-attention 變體ch04_implementing_gpt_model.ipynb— TransformerBlock + GPTModelch05_pretraining_on_unlabeled_data.ipynb— 預訓練ch06_finetuning_for_classification.ipynb— 分類微調ch07_instruction_finetuning.ipynb— SFTch08_aligning_models_with_human_feedback.ipynb— DPO/PPO
每章結尾有 exercises,解答在 exercise-solutions.ipynb。環境安裝 README 推薦 uv。
最小可跑路線:開 Colab 免費 GPU,跑 ch04_implementing_gpt_model.ipynb,訓練一個 124M 的 GPT-2 骨架模型,幾小時就能產出第一個能續寫文字的 demo。完整跑完一輪大概一週。
它怎麼運作(架構)
整套程式碼由下而上拆成 4 個層次:
- ch02 — 資料層:用
tiktoken做 BPE tokenization,用 sliding window 把長文本切成context_length大小的訓練樣本。 - ch03 — Attention 層:從 naive self-attention → 加入 causal mask → multi-head → 使用
torch.nn.functional.scaled_dot_product_attention的 PyTorch 核心版本。每一版都用同一個 toy 輸入跑一次,比較輸出差異。 - ch04 — 模型層:實作
TransformerBlock(含 LayerNorm + MHA + FFN + 殘差連接)+GPTModel。設定嚴格對齊 GPT-2 124M:d_model=768, n_heads=12, n_layers=12,可直接載入 OpenAI 官方權重(ch05)。 - ch07 + ch08 — 對齊層:SFT 用 instruction-response 格式的資料,DPO 用 ref model + policy model 的 log-ratio 差作為隱式 reward。
關鍵設計:所有矩陣維度統一放在 GPT_CONFIG_124M 這個 dict 管理,shape 錯的話基本上根本跑不起來,方便對照 GPT-2 論文裡的 Table 2 驗證設定是否正確。
下面是 ch04_implementing_gpt_model.ipynb 中 MultiHeadAttention 的核心,不到 30 行,把 Q/K/V 拆分、scaled dot-product、causal mask、dropout 全部包進去:
import torch
import torch.nn as nn
class MultiHeadAttention(nn.Module):
def __init__(self, d_in, d_out, context_length, dropout, num_heads, qkv_bias=False):
super().__init__()
assert d_out % num_heads == 0, "d_out must be divisible by num_heads"
self.d_out = d_out
self.num_heads = num_heads
self.head_dim = d_out // num_heads
self.W_query = nn.Linear(d_in, d_out, bias=qkv_bias)
self.W_key = nn.Linear(d_in, d_out, bias=qkv_bias)
self.W_value = nn.Linear(d_in, d_out, bias=qkv_bias)
self.out_proj = nn.Linear(d_out, d_out)
self.dropout = nn.Dropout(dropout)
self.register_buffer(
"mask", torch.triu(torch.ones(context_length, context_length), diagonal=1)
)
def forward(self, x):
b, num_tokens, d_in = x.shape
keys = self.W_key(x).view(b, num_tokens, self.num_heads, self.head_dim).transpose(1, 2)
queries = self.W_query(x).view(b, num_tokens, self.num_heads, self.head_dim).transpose(1, 2)
values = self.W_value(x).view(b, num_tokens, self.num_heads, self.head_dim).transpose(1, 2)
attn_scores = queries @ keys.transpose(2, 3)
attn_scores.masked_fill_(self.mask.bool()[:num_tokens, :num_tokens], -torch.inf)
attn_weights = torch.softmax(attn_scores / self.head_dim**0.5, dim=-1)
attn_weights = self.dropout(attn_weights)
context_vec = (attn_weights @ values).transpose(1, 2).contiguous().view(b, num_tokens, self.d_out)
return self.out_proj(context_vec)
跑這個 cell 之前先準備輸入張量:
x = torch.randn(2, 6, 768) # batch=2, tokens=6, d_model=768
mha = MultiHeadAttention(768, 768, context_length=1024, dropout=0.1, num_heads=12)
mha(x).shape
# torch.Size([2, 6, 768])
形狀對得起來就代表你的矩陣拆解沒問題。Q/K/V 從 (b, tokens, d_out) reshape 成 (b, tokens, num_heads, head_dim) 再 transpose(1, 2),這是讓多頭平行運算的核心動作,論文裡那張圖看十遍不如實際跑一次這個 cell。
它哪裡好 / 哪裡不好
優點:
- 不藏任何抽象層——沒有
nn.TransformerEncoder、AutoModel,所有層都自己寫。 - 搭配的書由 Manning 出版,章節結構與排版比一般 repo 嚴謹許多,每章結尾有「Summary」+「Exercises」標準學術格式。
- 新增了 Qwen3 / DeepSeek 權重載入章節,跟得上近兩年的發展。還補上 LoRA 與 KV cache 實作。
缺點:
- 以 Jupyter 為主,沒辦法直接
pip install當成 production 函式庫使用——from llms_from_scratch import GPTModel不存在,得自己把程式碼抄出來。 - 124M 模型在現代 LLM 標準下偏小,跑不出 ChatGPT 那種效果,主要仍是教學用途。這個 repo 不是用來訓練 production 模型的。
- 對 RLHF/PPO 章節(ch08)寫得比預訓練部分淺很多,DPO 部分有給程式碼,但理論推導較為簡略。想做對齊工程的人得另尋資料,例如 HuggingFace TRL 的文件或 Christiano 等人的原始論文。
我實測了一輪
clone 完之後開了 ch04 搭配的 gpt_train.ipynb,在 Colab T4 上跑 124M 模型 5k step,loss 從約 11 降到約 3.5。生成的樣本語法連貫,例如 prompt「Once upon a time」能續寫完整的童話開頭,但內容全是編的(在 124M 模型上這是正常現象)。
ch03 結尾的 attention 視覺化特別清楚,第 1 層學到的是相鄰 token 對齊(「the」關注「cat」這類局部依賴),深層才出現長距離依賴——和 BERTology 論文的觀察對得起來。這部分光看論文講不清楚,親眼看到 attention map 才能感受到 transformer 為什麼能 work。
另一個我注意到的點:ch07 的 SFT 資料用的是 instruction-data.json(Alpaca 風格),資料量不大,但足以讓 124M 模型學會 instruction format——loss 降得比預訓練階段快,2k step 就穩了。這正是小模型 + 高品質資料的典型案例。
誰適合用
適合:
- 想搞懂 transformer 內部到底在算什麼的業界工程師——讀完後你能 code review 任何一份 attention 實作。
- 面試被問 attention 公式想現場推導一遍的人——這個 repo 就是你的及時雨。
- 正處於 ML 入門到 LLM 的過渡期、PyTorch 基礎有了但沒碰過 LLM 內部的人。
不適合:
- 想直接拿 production 等級模型的人,請左轉 HuggingFace。
- 想跑 7B+ 模型訓練的人,這個 repo 只做教學,不涉及 FSDP / ZeRO / tensor parallelism。
- 完全不懂 PyTorch 基礎的新手,建議先過一遍官方 60 分鐘入門再來碰這個 repo。
相依套件只有 PyTorch + Python,第三方就只有 tiktoken / datasets / wandb 三個。