HN 上一篇《I trained a small transformer in 1.5hrs and it beats many LLMs》衝上 333 分、累積 89 則留言。作者 mvakde 沒動用 GPU 叢集,也沒燒掉幾個月的預算,只是寫了一個針對 ARC-AGI 1 設計的小型 transformer,1.5 小時訓練完成,分數直接壓過市面上大部分 LLM。
這件事值得拆開來看。
發生了什麼
mvakde 的實驗標的是 ARC-AGI 1——一個抽象推理 benchmark。他的做法是:
- 自己實作一個小型 transformer(參數量沒有誇張到哪裡去)
- 訓練資料用 ARC-AGI 1 內建訓練集 + 自生成增強資料
- 訓練時間 1.5 小時(消費級 GPU 即可勝任)
- 評估跑 ARC-AGI 1 的私有測試集
結果:在 ARC-AGI 1 上擊敗多數主流 LLM。注意是「擊敗多數」,不是全部——GPT-4、Claude 這類頂級閉源模型在部分子任務上仍占優勢。
來源:mvakde 部落格原文。
ARC-AGI 1 是什麼
ARC 全名 Abstraction and Reasoning Corpus,由 François Chollet 在 2019 年提出。Chollet 是 Keras 的作者,也是「智慧 = 程式效率」這個假說的主要倡導者。
任務長這樣:給你 3-5 組輸入輸出網格對,讓你推導出轉換規則,再套用到測試網格上。舉例來說:
- 輸入是一個 3x3 網格,中間有一個紅點
- 輸出是 5x5,紅點周圍擴展出一圈對稱圖案
- 測試網格也是 3x3 紅點,你要輸出 5x5 的擴展結果
人類看一眼就懂,但 LLM 長期在這類題目上表現掙扎。原因是:
- 需要的不是語言先驗,而是組合泛化(compositional generalization)
- 解題依賴的是短小、可枚舉的程式,不是統計模式匹配
- 測試時遇到的 pattern 幾乎一定是訓練時沒見過的
Chollet 過去曾下注 100 萬美元,賭沒有人能純靠 scaling 拿下 ARC-AGI。2024 年底,o3 系列模型勉強逼近,但代價是海量的合成資料加上推理算力。
1.5 小時是什麼概念
把這個數字放到尺度上看:
| 模型 | 訓練成本(估算) | 訓練時長 |
|---|---|---|
| GPT-4 等級 | 數千萬到數億美元 | 數月 |
| Llama 3 405B | 約 3 千萬美元 + 萬卡叢集 | 數週 |
| DeepSeek V3 | 約 500-600 萬美元 | 數週 |
| mvakde 的小 transformer | 幾美元電費 | 1.5 小時 |
單位差距達到 6-7 個數量級。
這件事最容易被誤讀為「小模型幹掉大模型」,其實不然。更準確的描述是:在高度結構化的窄任務上,專門設計的模型 + 好資料 + 合適的歸納偏置,比通用大模型划算得多。
為什麼小模型能贏
關鍵在三個設計選擇:
1. 程式合成式的歸納偏置
ARC 的解可以表示成短小的符號程式(DSL)。mvakde 的模型不直接輸出網格,而是輸出「先取中心點 → 鏡像 → 染色」這類步驟化操作。這等於在網路結構裡硬塞進一層「我知道這是程式」的假設。
LLM 沒有這個偏置。它要做的是把任務翻譯成 token 序列再猜下一格,難度完全不同。
2. 資料增強的關鍵技巧
ARC 訓練集只有幾百道題,根本不夠訓練。mvakde 大規模做了幾何變換增強(旋轉、翻轉、色彩對應、形狀重組),合成出幾十萬道題。這裡有個細節:增強不是亂做,而是保留解法結構的增強。你旋轉一個圖形,解法也得跟著旋轉,這等價於在資料裡注入對稱性。
3. 訓練訊號
監督訊號是程式級的(步驟對不對),不是像素級的(最終網格對不對)。這種中間監督比端到端監督的樣本效率高得多。
類似的思路在 AlphaCode、FunSearch 這些工作中都見過,但 ARC 的任務空間更小、更結構化,所以小模型就能 cover。
這意味著什麼
這件事並非孤例。把它和下面這些放在一起看:
- AlphaProof / AlphaGeometry:DeepMind 用神經 + 符號混合系統做數學奧賽題,專用模型 > 通用 LLM
- FunSearch:DeepMind 在數學發現任務上,讓小模型 + 評估器循環比 GPT-4 直接出結果更可靠
- Cursor Tab 模型:專門為程式碼補全訓練的小模型,在該任務上的體驗比通用模型更好
趨勢很清楚:「規模萬能」在結構化推理任務上從來不成立,只是過去這件事被 scaling law 的成功給遮蔽了。
更務實的判斷:
- 通用 LLM 仍然是最值錢的「瑞士刀」,能聊天、寫文件、做 Agent
- 但在任何一個垂直、強結構、可枚舉的任務上,專門訓練的小模型 + 少量算力可能就夠用
- 企業做 AI 產品時,先想清楚任務是否窄且結構化——如果是,先試小模型路線
編輯思考
mvakde 的實驗為什麼值得專門寫一篇?因為它把一個被反覆討論但始終沒人端出乾淨 benchmark 的論點,給出了一個具體數字:1.5 小時、幾美元電費、擊敗多數 LLM。
這件事和過去那些「小模型在某任務上接近 GPT-4」的報導不一樣。過去那種多半是 benchmark 挑得巧,或是任務本身定義模糊。這次 ARC-AGI 1 是公認的硬骨頭、是 Chollet 親自設下的「通用推理」試金石。mvakde 沒有繞彎,直接硬跑,分數說話。
一個反共識的判斷:業界對「訓練成本」的定義一直被嚴重低估。媒體愛報「X 團隊用 Y 美元訓練了 Z 模型」,但那只是預訓練成本。真正決定一個模型能不能用的,是全生命週期成本——資料清洗、迭代實驗、評估、對齊、推理。如果把推理成本算進去,專門模型的優勢會更大:一個小 transformer 跑一次推理的電費,可能只有呼叫 GPT-4 API 價格的 1/1000。
留給讀者一個問題:你手上的 AI 任務,到底是「通用 LLM + 強 prompt」更划算,還是「專門訓練一個小模型」更划算?多數團隊根本沒認真算過這筆帳。
參考:mvakde 部落格原文