HN 上一条《I trained a small transformer in 1.5hrs and it beats many LLMs》挂了 333 分、89 条评论。作者 mvakde 没动 GPU 集群,也没用几个月烧钱,只是写了个针对 ARC-AGI 1 的小型 transformer,1.5 小时训完,分数压过市面上大部分 LLM。
这个事值得拆开看。
发生了什么
mvakde 的实验对象是 ARC-AGI 1——一个抽象推理 benchmark。他的做法:
- 自己实现一个小型 transformer(参数量没公开到特别夸张的级别)
- 训练数据是 ARC-AGI 1 自带的训练集 + 自生成增强
- 训练时间 1.5 小时(消费级 GPU 即可)
- 评估跑 ARC-AGI 1 的私有测试集
结果:在 ARC-AGI 1 上击败了多数主流 LLM。注意是"击败多数",不是全部——GPT-4 / Claude 这类顶级闭源模型在某些子任务上还是占优。
来源:mvakde 博客原文。
ARC-AGI 1 是什么
ARC 全称 Abstraction and Reasoning Corpus,由 François Chollet 在 2019 年提出。Chollet 是 Keras 的作者,也是"智能 = 程序效率"这个假说的主要倡导者。
任务长这样:给你 3-5 个输入输出网格对,让你推断出变换规则,再应用到测试网格上。例:
- 输入是一个 3x3 网格,中间一个红点
- 输出是 5x5,红点周围扩出一圈对称图案
- 测试网格也是 3x3 红点,你要输出 5x5 的扩展
人类看一眼就懂,但 LLM 长期在这上面挣扎。原因是:
- 需要的不是语言先验,而是组合泛化(compositional generalization)
- 解题靠的是短小、可枚举的程序,不是统计模式匹配
- 测试时遇到的 pattern 几乎一定是训练时没见过的
Chollet 一度押 100 万美元赌没人能用纯 scaling 拿下 ARC-AGI。2024 年底,o3 系列模型勉强逼近,但代价是海量的合成数据 + 推理算力。
1.5 小时是什么概念
把这数字放到尺度上:
| 模型 | 训练成本(估算) | 训练时长 |
|---|---|---|
| GPT-4 级别 | 数千万到数亿美元 | 数月 |
| Llama 3 405B | 约 3 千万美元 + 万卡集群 | 数周 |
| DeepSeek V3 | 约 500-600 万美元 | 数周 |
| mvakde 的小 transformer | 几美元电费 | 1.5 小时 |
单位差着 6-7 个数量级。
这件事最容易被人误读成"小模型干翻大模型",其实不对。更准确的描述是:在高度结构化的窄任务上,专门设计的模型 + 好数据 + 合适的归纳偏置,比通用大模型划算得多。
为什么小模型能赢
关键在三个设计选择:
1. 程序合成式的归纳偏置
ARC 的解可以表示成短小的符号程序(DSL)。mvakde 的模型不直接输出网格,而是输出"先取中心点 → 镜像 → 染色"这种步骤化操作。这相当于在网络结构里硬塞进了一层"我知道这是程序"的假设。
LLM 没有这个偏置。它要做的是把任务翻译成 token 序列再猜下一格,难度完全不一样。
2. 数据增强的关键 trick
ARC 训练集只有几百道题,不够训任何东西。mvakde 大规模做了几何变换增强(旋转、翻转、颜色映射、形状重组),合成出几十万道题。这里有个细节:增强不是瞎做,而是保留解法结构的增强。你旋转一个图形,解法也得跟着旋转,这等价于数据里的对称性。
3. 训练信号
监督信号是程序级的(步骤对不对),不是像素级的(最终网格对不对)。这种中间监督比端到端监督的样本效率高得多。
类似的思路在 AlphaCode、FunSearch 这些工作里都见过,但 ARC 的任务空间更小、更结构化,所以小模型就能 cover。
这意味着什么
这件事不是孤例。把它和下面这些放一起看:
- AlphaProof / AlphaGeometry:DeepMind 用神经 + 符号混合系统做数学奥赛题,专用模型 > 通用 LLM
- FunSearch:DeepMind 在数学发现任务上,让小模型 + 评估器循环比 GPT-4 直接出结果更靠谱
- Cursor Tab 模型:专门为代码补全训的小模型,比通用模型在该任务上体验更好
趋势是清楚的:"规模万能"在结构化推理任务上一直不成立,只是这件事过去被 scaling law 的成功掩盖了。
更现实的判断:
- 通用 LLM 仍然是最值钱的"瑞士军刀",能聊天、写文档、做 Agent
- 但在任何一个垂直、强结构、可枚举的任务上,专门训的小模型 + 少量算力可能就够
- 企业做 AI 产品时,先想清楚任务是不是窄且结构化——如果是,先试小模型路线
编辑思考
mvakde 的实验为什么值得专门写一篇?因为它把一个被反复讨论但没人给干净 benchmark 的论点给了一个具体数字:1.5 小时、几美元电费、击败多数 LLM。
这件事和过去那些"小模型在某任务上接近 GPT-4"的报道不一样。过去那种多数是 benchmark 选得巧,或者任务本身模糊。这次 ARC-AGI 1 是公认的硬骨头、是 Chollet 亲自设的"通用推理"试金石。mvakde 没绕弯子、直接硬跑,分数说话。
一个反共识的判断:业界对"训练成本"的定义一直被严重低估。媒体爱报"X 团队用 Y 美元训了 Z 模型",但那只是预训练成本。真正决定一个模型能不能用的,是全生命周期成本——数据清洗、迭代实验、评估、对齐、推理。如果把推理成本算上,专门模型的优势会更大:一个小 transformer 跑一次推理的电费,可能是调用 GPT-4 API 价格的 1/1000。
留给读者一个问题:你手上的 AI 任务,到底是"通用 LLM + 强 prompt"更划算,还是"专门训一个小模型"更划算?多数团队根本没认真算过这笔账。
参考:mvakde 博客原文