TabPFN vs XGBoost:14 個全勝で“パラメータチューニング党”終了?
学習不要のテーブルモデルが、14 個のデータセットでチューニング済み XGBoost を破った。
efraingaray.com のブログ を最初に見たとき、また「ベンチマークを総ナメした論文」かと思った。読み進めてみると、話はそこまで単純でもなく、かといって無視できるほど軽くもなかった。
14:0 の戦績表
まず結果を並べてみる。
- TabPFN は 14 個の公開テーブルデータセットで XGBoost に勝利
- TabICL も同様に 14/14 の全勝
- 比較対象の XGBoost は生ではなく、hyperparameter tuning(グリッドサーチ + 交差検証)済み
つまり XGBoost は、すでに本番で出せる最強の状態で戦っている。新人が n_estimators=100 で適当に流した結果ではない。
出典は efraingaray.com/en/blog/tabpfn-vs-xgboost/ のオリジナル記事。このブログは 8 月末に Hacker News のフロントページに登場した。
なぜこの 2 つのモデルは「学習しない」のか
従来の ML の流れはこうだ。訓練データを受け取り、モデルを学習し、そのモデルで予測する。学習と推論は明確に分かれている。
TabPFN と TabICL は別のルートを採る。in-context learning(ICL)、つまり LLM がやっているあれだ。
- 訓練サンプルをそのままモデルの入力に詰め込む(プロンプトに近い)
- モデルはパラメータを更新せず、そのまま予測を出す
- 学習と推論の境界が消える
実装面で言えば、TabPFN は事前学習データから合成された Transformer ベース、TabICL はテーブルデータ専用に設計された ICL アーキテクチャ。どちらも本質は「事前学習で大量のテーブルを見てきたから、推論時にサンプルを渡せば推測できる」というものだ。
コードも極めてシンプルで、TabPFN の公式インターフェースはこうなっている。
from tabpfn import TabPFNClassifier
clf = TabPFNClassifier()
clf.fit(X_train, y_train) # 内部的にはデータを保持するだけ
y_pred = clf.predict(X_test)
ここで fit は勾配更新を行わない点に注意してほしい。訓練セットをキャッシュしているだけで、推論時には X_train, y_train と X_test をまとめてモデルに渡す。つまりユーザー側から見れば「ゼロ学習」であり、学習コストは事前学習段階で支払い済みだ。
なぜ XGBoost は今回負けたのか
XGBoost が 10 年間テーブルデータを支配してきた理由は 2 つある。
- 特徴量エンジニアリング——人手による交差特徴の構築、ターゲットエンコーディング、ビニング
- パラメータチューニング——
learning_rate、max_depth、subsample…を一つずつ grid search
ICL パラダイムは、この 2 つをまとめて「奪い取って」しまう。
- 特徴量エンジニアリングは事前学習に吸収される:TabPFN は事前学習の段階でさまざまなテーブル構造を見ており、人手の交差に相当する表現を自ら獲得している
- チューニングはゼロショット汎化に置き換わる:学習率を選ぶ必要も、過学習対策も不要。モデルは事前学習で「未来のデータ分布」をすでに経験済み
これは 10,000 枚の模擬試験をすでに解いた受験生のようなものだ。実際の試験会場で追加対策を施す必要はない。
さらに深い原因は、分布の前提が変わった点にある。XGBoost は本来「最適な決定木の分割を見つける」仕組みで、訓練とテストの分布が一致していることを仮定している。TabPFN 系のモデルは「あらゆるテーブルタスクが何らかの事前分布から生まれてくる」と仮定する。多くの業務シナリオではこちらの仮定のほうが現実に近い。世の中のテーブルデータは突然湧いて出るわけではなく、他のテーブルと何らかの構造を共有している。
現実的な代償:推論時のコスト
ここで、ブログや論文でもつい軽く触れられがちな問題がある。推論コストだ。
ICL パラダイムでは、予測のたびにモデルが訓練セット全体を context として受け取る。N=1000 程度の小さなデータセットなら問題ない。だが N=50,000 を超えると話が変わってくる。
- 1 回あたりの推論時間が線形に増える
- メモリ使用量は訓練セットサイズに比例する
- バッチ推論をしたい場合、訓練セットをバッチ分コピーする必要がある
比較してみよう。
| シナリオ | XGBoost | TabPFN |
|---|---|---|
| 10 万行の推論 | ミリ秒単位 | 数秒〜数十秒 |
| メモリ使用量 | 数十 MB | context に比例、数 GB に達する可能性 |
| コールドスタート | 数分の学習が必要 | すぐ使える |
| インクリメンタル学習 | 再 fit するだけ | データセット全体を再入力する必要あり |
つまり落としどころははっきりしている。
- 中小規模データセット(5,000 行未満):TabPFN をほぼ無条件に選ぶ
- 中〜大規模(5,000〜50,000 行):推論遅延が許容できるか次第
- 超大規模 + 低レイテンシ要件:XGBoost / LightGBM が依然第一選択
もう一つの現実がある。TabPFN 系のモデルは現状、エコシステムの成熟度で XGBoost に大きく劣る。SHAP による説明、特徴量重要度、partial dependence plot といった機能が、新モデルでは未実装か未成熟だ。本番環境で「モデルが正確なこと」は要件の 1/3 に過ぎない。「説明可能性」と「デバッグ容易性」が残り 2/3 を占める。
編集部の考察
この出来事の本質は、「TabPFN が XGBoost より強い」ではない。
これはテーブル領域において 10 年ぶりに、XGBoost がデフォルト最適解ではないという状況が生まれたということだ。過去 10 年、Kaggle でも業務モデリングでも、default baseline は常に XGBoost(あるいは LightGBM / CatBoost のいずれか)だった。あらゆるタスクで最強だったからではなく、「最も間違いにくい」選択肢だったからだ。TabPFN のようなモデルの登場は、中小データセットに限ればこの「最も間違いにくい」デフォルトの座を奪い取った。
ただし、いくつか留保がある。
- サンプルバイアス:比較対象となった 14 個のデータセットは具体的に何か。OpenML の中規模データセットは、そもそも ICL に有利(分布がきれいで、特徴量エンジニアリングの余地が小さい)な方向に偏っている可能性がある。高度に異質で特徴量エンジニアリングがものを言うシナリオ(金融の与信管理、レコメンド)では、結論が成り立たないかもしれない。
- 単一ソースの検証:いま見えるのは efraingaray という独立ブログによる実験だけだ。著者は XGBoost 側を cherry-pick せずに誠実に比較しているが、それでも TabPFN 原論文、TabICL 論文、TabArena や PMLB などの第三者ベンチマークによる多ソースのクロスチェックが必要だ。
- エンジニアリングの谷:論文で動くことと本番で動くことの間には、SHAP、drift monitoring、A/B テスト基盤といった距離がある。XGBoost のエコシステムは 10 年かけて整えられたものだ。
個人的予測を言えば、2025〜2026 年には中小企業のデータサイエンスチームがプロトタイピング段階で TabPFN / TabICL 系ツールを大量採用し、「まず baseline を学習する」という工程を省略するようになるだろう。ただし本番環境、特に日次で百万行を処理するようなシステムでは、XGBoost 系が引き続き主流であり続ける。
注視すべきシグナルは、TabPFN チーム(Tobitta / Hollmann ら)が進めている「大データセット拡張」(TabPFN v2 の 10,000 行超対応)と、TabArena のような統一ベンチマークがテーブル領域の「ImageNet モーメント」を正式に認定するかどうかだ。
参考ソース: