工具

TabPFN vs XGBoost:14 個資料集全勝,調參時代要終結了?

一款無需訓練的表格模型,在 14 個資料集上打敗經過完整調參的 XGBoost。XGBoost 稱霸十年的紀錄,或許該重新改寫了。

字級

14:0 的戰績表

先把成績單攤開來看:

  • TabPFN 在 14 個公開表格資料集上擊敗 XGBoost
  • TabICL 同樣 14/14 全勝
  • 對比的 XGBoost 並非裸跑,而是經過 hyperparameter tuning(網格搜尋 + 交叉驗證)

換言之,XGBoost 已是它在生產環境中能拿出的最強形態,並非哪個實習生隨手 n_estimators=100 跑出來的版本。

資料來源是原作者 efraingaray.com/en/blog/tabpfn-vs-xgboost/,該文八月底登上 Hacker News 首頁。

這兩個模型到底怎麼「不訓練」

傳統 ML 的流程是:拿訓練集 → 訓練模型 → 用模型預測。訓練與推論涇渭分明。

TabPFN 與 TabICL 走的是另一條路 —— in-context learning(ICL),也就是 LLM 玩的那一套:

  1. 把訓練樣本直接塞進模型輸入(類似 prompt)
  2. 模型不更新參數,直接給出預測
  3. 訓練與推論的界線消失了

具體實作上,TabPFN 是基於先驗資料合成的 Transformer,TabICL 則是專為表格資料設計的 ICL 架構。兩者本質上都是「預訓練時見過海量表格,推論時看你給的樣本就能推」。

程式碼層面用起來極簡,TabPFN 的官方介面長這樣:

from tabpfn import TabPFNClassifier

clf = TabPFNClassifier()
clf.fit(X_train, y_train)  # 內部只是把資料存起來
y_pred = clf.predict(X_test)

注意 fit 其實不做梯度更新 —— 它只是把訓練集快取起來,推論時把 X_train, y_train 和 X_test 一起送進模型。所以嚴格來說,這個模型在使用者端是「零訓練」的,訓練成本由預訓練階段付清。

為什麼 XGBoost 這次輸了

XGBoost 之所以統治表格領域十年,靠的是兩件事:

  1. 特徵工程 —— 人工構造交叉特徵、目標編碼、分箱
  2. 調參 —— learning_rate、max_depth、subsample……一個一個 grid search

ICL 範式直接把這兩件事都「搶」走了:

  • 特徵工程被預訓練吸收:TabPFN 在預訓練階段就見過各種表格結構,自己學會了等價於人工交叉的表示
  • 調參被零樣本泛化取代:不需要選學習率,不需要防過擬合,模型在預訓練時已經「見過」未來可能遇到的資料分布

這就像一個已經在 10000 張模擬試卷上刷過的考生,你在真實考場上不用再幫他補課了。

更深層的原因是分布假設變了。XGBoost 本質是「找到最優的決策樹劃分」,它假設訓練-測試分布一致。TabPFN 類模型假設「所有表格任務來自某個先驗分布」,這個假設在許多業務情境下反而更貼近現實 —— 你的表格資料不會是從石頭裡蹦出來的,它和世界上其他表格共享某種結構。

現實代價:推論時的開銷

這裡有個常被部落格和論文輕描淡寫的問題:推論成本。

ICL 範式下,每次預測模型都要把整個訓練集當 context。對於 N=1000 的小資料集,這沒什麼。但當 N=50000 甚至更多時:

  • 單次推論時間線性增長
  • 顯存佔用與訓練集大小成正比
  • 想要 batch 預測?整個訓練集要被複製 batch 份

對比一下:

情境XGBoostTabPFN
10 萬列推論毫秒級幾秒到幾十秒
顯存佔用幾十 MB隨 context 增長,可能數 GB
冷啟動需訓練數分鐘直接用
增量學習重新 fit 即可需要重新餵整個資料集

所以落地界線很清晰:

  • 中小規模資料集(< 5k 列):TabPFN 幾乎無腦選
  • 中大規模(5k-50k 列):看具體情境,推論延遲是否可接受
  • 超大規模 + 低延遲要求:XGBoost/LightGBM 仍是首選

另一個工程現實是:TabPFN 類模型目前生態遠不如 XGBoost。SHAP 解釋、特徵重要性、partial dependence plot,在新模型上要麼沒有,要麼不成熟。生產環境中「模型準」只是 1/3 的需求,「可解釋」與「可除錯」才是另外 2/3。

編輯觀點

這件事的本質,並非「TabPFN 強於 XGBoost」。

它是表格領域十年來第一次出現一個情境:XGBoost 不再是預設最優解。過去十年,任何 Kaggle 競賽、任何業務表格建模的 default baseline 都是 XGBoost(或 LightGBM/CatBoost 三選一),並非因為它們在每個任務上都最強,而是因為它們是「最不容易出錯」的選擇。TabPFN 這類模型的出現,把「最不容易出錯」的預設選項搶走了 —— 至少在中小資料集上是這樣。

但我必須指出幾個不確定性:

  1. 樣本偏差:該文對比的 14 個資料集究竟是哪些?OpenML 上的中等規模資料集可能本身就偏向 ICL 友好型(分布相對乾淨、特徵工程空間小)。在高度異構、強特徵工程的情境(金融風控、推薦系統),結論未必成立。
  2. 單源驗證:目前看到的是 efraingaray 一篇獨立部落格的實驗,雖然作者做的是誠實對比(沒有 cherry-pick XGBoost 的調參),但仍需要 TabPFN 原論文、TabICL 論文以及第三方 benchmark(如 TabArena、PMLB)的多源交叉驗證。
  3. 工程鴻溝:模型在論文能跑出來,離生產部署還有 SHAP、drift monitoring、A/B test framework 這些距離,XGBoost 生態花了十年才攢齊。

我的預測:2025-2026 年,中小公司的資料科學團隊會在原型驗證階段大量採用 TabPFN/TabICL 類工具,把「先 train 個 baseline」這個步驟省掉。但生產環境,尤其是日均處理百萬列的情境,XGBoost 體系仍會是主流。

值得持續關注的訊號:TabPFN 團隊(Tobita/Hollmann 等)正在做的「大資料集擴展」(TabPFN v2 的 10k+ 列能力),以及 TabArena 這類統一 benchmark 是否會把表格領域的「ImageNet 時刻」正式確認。


參考來源:

來源: https://efraingaray.com/en/blog/tabpfn-vs-xgboost/