14:0 的戰績表
先把成績單攤開來看:
- TabPFN 在 14 個公開表格資料集上擊敗 XGBoost
- TabICL 同樣 14/14 全勝
- 對比的 XGBoost 並非裸跑,而是經過 hyperparameter tuning(網格搜尋 + 交叉驗證)
換言之,XGBoost 已是它在生產環境中能拿出的最強形態,並非哪個實習生隨手 n_estimators=100 跑出來的版本。
資料來源是原作者 efraingaray.com/en/blog/tabpfn-vs-xgboost/,該文八月底登上 Hacker News 首頁。
這兩個模型到底怎麼「不訓練」
傳統 ML 的流程是:拿訓練集 → 訓練模型 → 用模型預測。訓練與推論涇渭分明。
TabPFN 與 TabICL 走的是另一條路 —— in-context learning(ICL),也就是 LLM 玩的那一套:
- 把訓練樣本直接塞進模型輸入(類似 prompt)
- 模型不更新參數,直接給出預測
- 訓練與推論的界線消失了
具體實作上,TabPFN 是基於先驗資料合成的 Transformer,TabICL 則是專為表格資料設計的 ICL 架構。兩者本質上都是「預訓練時見過海量表格,推論時看你給的樣本就能推」。
程式碼層面用起來極簡,TabPFN 的官方介面長這樣:
from tabpfn import TabPFNClassifier
clf = TabPFNClassifier()
clf.fit(X_train, y_train) # 內部只是把資料存起來
y_pred = clf.predict(X_test)
注意 fit 其實不做梯度更新 —— 它只是把訓練集快取起來,推論時把 X_train, y_train 和 X_test 一起送進模型。所以嚴格來說,這個模型在使用者端是「零訓練」的,訓練成本由預訓練階段付清。
為什麼 XGBoost 這次輸了
XGBoost 之所以統治表格領域十年,靠的是兩件事:
- 特徵工程 —— 人工構造交叉特徵、目標編碼、分箱
- 調參 ——
learning_rate、max_depth、subsample……一個一個 grid search
ICL 範式直接把這兩件事都「搶」走了:
- 特徵工程被預訓練吸收:TabPFN 在預訓練階段就見過各種表格結構,自己學會了等價於人工交叉的表示
- 調參被零樣本泛化取代:不需要選學習率,不需要防過擬合,模型在預訓練時已經「見過」未來可能遇到的資料分布
這就像一個已經在 10000 張模擬試卷上刷過的考生,你在真實考場上不用再幫他補課了。
更深層的原因是分布假設變了。XGBoost 本質是「找到最優的決策樹劃分」,它假設訓練-測試分布一致。TabPFN 類模型假設「所有表格任務來自某個先驗分布」,這個假設在許多業務情境下反而更貼近現實 —— 你的表格資料不會是從石頭裡蹦出來的,它和世界上其他表格共享某種結構。
現實代價:推論時的開銷
這裡有個常被部落格和論文輕描淡寫的問題:推論成本。
ICL 範式下,每次預測模型都要把整個訓練集當 context。對於 N=1000 的小資料集,這沒什麼。但當 N=50000 甚至更多時:
- 單次推論時間線性增長
- 顯存佔用與訓練集大小成正比
- 想要 batch 預測?整個訓練集要被複製 batch 份
對比一下:
| 情境 | XGBoost | TabPFN |
|---|---|---|
| 10 萬列推論 | 毫秒級 | 幾秒到幾十秒 |
| 顯存佔用 | 幾十 MB | 隨 context 增長,可能數 GB |
| 冷啟動 | 需訓練數分鐘 | 直接用 |
| 增量學習 | 重新 fit 即可 | 需要重新餵整個資料集 |
所以落地界線很清晰:
- 中小規模資料集(< 5k 列):TabPFN 幾乎無腦選
- 中大規模(5k-50k 列):看具體情境,推論延遲是否可接受
- 超大規模 + 低延遲要求:XGBoost/LightGBM 仍是首選
另一個工程現實是:TabPFN 類模型目前生態遠不如 XGBoost。SHAP 解釋、特徵重要性、partial dependence plot,在新模型上要麼沒有,要麼不成熟。生產環境中「模型準」只是 1/3 的需求,「可解釋」與「可除錯」才是另外 2/3。
編輯觀點
這件事的本質,並非「TabPFN 強於 XGBoost」。
它是表格領域十年來第一次出現一個情境:XGBoost 不再是預設最優解。過去十年,任何 Kaggle 競賽、任何業務表格建模的 default baseline 都是 XGBoost(或 LightGBM/CatBoost 三選一),並非因為它們在每個任務上都最強,而是因為它們是「最不容易出錯」的選擇。TabPFN 這類模型的出現,把「最不容易出錯」的預設選項搶走了 —— 至少在中小資料集上是這樣。
但我必須指出幾個不確定性:
- 樣本偏差:該文對比的 14 個資料集究竟是哪些?OpenML 上的中等規模資料集可能本身就偏向 ICL 友好型(分布相對乾淨、特徵工程空間小)。在高度異構、強特徵工程的情境(金融風控、推薦系統),結論未必成立。
- 單源驗證:目前看到的是 efraingaray 一篇獨立部落格的實驗,雖然作者做的是誠實對比(沒有 cherry-pick XGBoost 的調參),但仍需要 TabPFN 原論文、TabICL 論文以及第三方 benchmark(如 TabArena、PMLB)的多源交叉驗證。
- 工程鴻溝:模型在論文能跑出來,離生產部署還有 SHAP、drift monitoring、A/B test framework 這些距離,XGBoost 生態花了十年才攢齊。
我的預測:2025-2026 年,中小公司的資料科學團隊會在原型驗證階段大量採用 TabPFN/TabICL 類工具,把「先 train 個 baseline」這個步驟省掉。但生產環境,尤其是日均處理百萬列的情境,XGBoost 體系仍會是主流。
值得持續關注的訊號:TabPFN 團隊(Tobita/Hollmann 等)正在做的「大資料集擴展」(TabPFN v2 的 10k+ 列能力),以及 TabArena 這類統一 benchmark 是否會把表格領域的「ImageNet 時刻」正式確認。
參考來源: