工具

TabPFN vs XGBoost:14 个数据集全胜,调参党的末日来了?

一个不用训练的表格模型,在 14 个数据集上击败调优过的 XGBoost。XGBoost 称霸十年的神话,可能要换个写法了。

字号

一个不用训练的表格模型,在 14 个数据集上击败调优过的 XGBoost。

我第一次看到 efraingaray.com 的这篇博客 时,以为是又一个"屠榜论文"。点进去读完,发现事情没那么简单,但也没那么简单到可以忽略。

14:0 的战绩表

先把成绩单亮一下:

  • TabPFN 在 14 个公开表格数据集上击败 XGBoost
  • TabICL 同样 14/14 全胜
  • 对比的 XGBoost 不是裸跑,是经过 hyperparameter tuning(网格搜索 + 交叉验证)

这意味着:XGBoost 已经是它在生产里能拿出的最强形态,不是某个实习生随手 n_estimators=100 跑出来的版本。

数据来源是原作者 efraingaray.com/en/blog/tabpfn-vs-xgboost/,博客 8 月底登上了 Hacker News 首页。

这两个模型到底怎么"不训练"

传统 ML 的流程是:拿训练集 → 训练模型 → 拿模型去预测。训练和推理是分开的。

TabPFN 和 TabICL 走的是另一条路 —— in-context learning(ICL),也就是 LLM 玩的那套:

  1. 把训练样本直接塞进模型输入(类似 prompt)
  2. 模型不更新参数,直接给预测
  3. 训练和推理的边界消失了

具体实现上,TabPFN 是基于先验数据合成的 Transformer,TabICL 是专门为表格数据设计的 ICL 架构。两者本质都是"预训练时见过海量表格,推理时看你给的样本就能推"。

代码层面用起来极简,TabPFN 的官方接口长这样:

from tabpfn import TabPFNClassifier

clf = TabPFNClassifier()
clf.fit(X_train, y_train)  # 内部只是把数据存起来
y_pred = clf.predict(X_test)

注意 fit 其实不做梯度更新 —— 它只是把训练集缓存起来,推理时把 X_train, y_train 和 X_test 一起送进模型。所以严格来说,这个模型在用户侧是"零训练"的,训练成本由预训练阶段付清。

为什么 XGBoost 这次输了

XGBoost 之所以统治表格领域十年,靠的是两件事:

  1. 特征工程 —— 人工构造交叉特征、目标编码、分箱
  2. 调参 —— learning_rate、max_depth、subsample...一个一个 grid search

ICL 范式直接把这两件事都"抢"走了:

  • 特征工程被预训练吸收:TabPFN 在预训练阶段就见过各种表格结构,自己学会了等价于人工交叉的表示
  • 调参被零样本泛化取代:不需要选学习率,不需要防过拟合,模型在预训练时已经"见过"了未来可能遇到的数据分布

这就像一个已经在 10000 张模拟试卷上刷过的考生,你在真实考场上不用再给他补课了。

更深层的原因是分布假设变了。XGBoost 本质是"找到最优的决策树划分",它假设训练-测试分布一致。TabPFN 类模型假设"所有表格任务来自某个先验分布",这个假设在很多业务场景下反而更接近现实 —— 你的表格数据不会是从石头里蹦出来的,它和世界上其他表格共享某种结构。

现实代价:推理时开销

这里有个常被博客和论文轻描淡写的问题:推理成本。

ICL 范式下,每次预测时模型要把整个训练集当 context。对于 N=1000 的小数据集,这没什么。但当 N=50000 或者更多:

  • 单次推理时间线性增长
  • 显存占用和训练集大小成正比
  • 想要 batch 预测?整个训练集要被复制 batch 份

对比一下:

场景 XGBoost TabPFN
10 万行推理 毫秒级 几秒到几十秒
显存占用 几十 MB 按 context 增长,可能数 GB
冷启动 需训练几分钟 直接用
增量学习 重新 fit 即可 需要重新喂整个数据集

所以落地边界很清晰:

  • 中小规模数据集(< 5k 行):TabPFN 几乎无脑选
  • 中大规模(5k-50k 行):看具体场景,推理延迟是否可接受
  • 超大规模 + 低延迟要求:XGBoost/LightGBM 仍是首选

另一个工程现实是:TabPFN 类模型目前生态远不如 XGBoost。SHAP 解释、特征重要性、partial dependence plot,在新模型上要么没有,要么不成熟。生产里"模型准"只是 1/3 的需求,"可解释"和"可调试"才是另外 2/3。

编辑思考

这件事的本质,不是"TabPFN 强于 XGBoost"。

它是表格领域十年来第一次出现一个场景:XGBoost 不是默认最优解。过去十年,任何 Kaggle 比赛、任何业务表格建模的 default baseline 都是 XGBoost(或 LightGBM/CatBoost 三选一),不是因为它们在每个任务上都最强,而是因为它们是"最不容易出错"的选择。TabPFN 这类模型的出现,把"最不容易出错"的默认选项抢走了 —— 至少在中小数据集上。

但我必须指出几个不确定:

  1. 样本偏差:博客对比的 14 个数据集,具体是哪些?OpenML 上的中等规模数据集可能本身就偏向 ICL 友好型(分布相对干净、特征工程空间小)。在高度异构、强特征工程的场景(金融风控、推荐系统),结论未必成立。
  2. 单源验证:目前看到的是 efraingaray 一个独立博客的实验,虽然博客作者做的是诚实的对比(没有 cherry-pick XGBoost 的调参),但仍需要 TabPFN 原论文、TabICL 论文以及第三方 benchmark(如 TabArena、PMLB)的多源交叉验证。
  3. 工程鸿沟:模型论文和论文能跑出来,离生产部署还有 SHAP, drift monitoring, A/B test framework 这些距离,XGBoost 生态花了十年才攒齐。

我的预测:2025-2026 年,中小公司的数据科学团队会在原型验证阶段大量采用 TabPFN/TabICL 类工具,把"先 train 个 baseline"这个步骤省掉。但生产环境,尤其是日均处理百万行的场景,XGBoost 系仍然会是主流。

值得持续关注的信号:TabPFN 团队(Tobita/Hollmann 等)正在做的"大数据集扩展"(TabPFN v2 的 10k+ 行能力),以及 TabArena 这类统一 benchmark 是否会把表格领域的"ImageNet 时刻"正式确认。


参考来源:
- efraingaray.com - TabPFN vs XGBoost
- Hacker News 讨论
- TabPFN 官方仓库

来源: https://efraingaray.com/en/blog/tabpfn-vs-xgboost/