ツール

TabPFNがXGBoostに14戦全勝──“パラメータチューニング頼み”の日々は終わるのか

学習不要のテーブルデータ向けモデルが、チューニング済みのXGBoostを14個のデータセットで上回った。10年続いたXGBoost神話は、ついに書き換えの時を迎えたかもしれない。

文字サイズ

TabPFN vs XGBoost:14 個全勝で“パラメータチューニング党”終了?

学習不要のテーブルモデルが、14 個のデータセットでチューニング済み XGBoost を破った。

efraingaray.com のブログ を最初に見たとき、また「ベンチマークを総ナメした論文」かと思った。読み進めてみると、話はそこまで単純でもなく、かといって無視できるほど軽くもなかった。

14:0 の戦績表

まず結果を並べてみる。

  • TabPFN は 14 個の公開テーブルデータセットで XGBoost に勝利
  • TabICL も同様に 14/14 の全勝
  • 比較対象の XGBoost は生ではなく、hyperparameter tuning(グリッドサーチ + 交差検証)済み

つまり XGBoost は、すでに本番で出せる最強の状態で戦っている。新人が n_estimators=100 で適当に流した結果ではない。

出典は efraingaray.com/en/blog/tabpfn-vs-xgboost/ のオリジナル記事。このブログは 8 月末に Hacker News のフロントページに登場した。

なぜこの 2 つのモデルは「学習しない」のか

従来の ML の流れはこうだ。訓練データを受け取り、モデルを学習し、そのモデルで予測する。学習と推論は明確に分かれている。

TabPFN と TabICL は別のルートを採る。in-context learning(ICL)、つまり LLM がやっているあれだ。

  1. 訓練サンプルをそのままモデルの入力に詰め込む(プロンプトに近い)
  2. モデルはパラメータを更新せず、そのまま予測を出す
  3. 学習と推論の境界が消える

実装面で言えば、TabPFN は事前学習データから合成された Transformer ベース、TabICL はテーブルデータ専用に設計された ICL アーキテクチャ。どちらも本質は「事前学習で大量のテーブルを見てきたから、推論時にサンプルを渡せば推測できる」というものだ。

コードも極めてシンプルで、TabPFN の公式インターフェースはこうなっている。

from tabpfn import TabPFNClassifier

clf = TabPFNClassifier()
clf.fit(X_train, y_train)  # 内部的にはデータを保持するだけ
y_pred = clf.predict(X_test)

ここで fit は勾配更新を行わない点に注意してほしい。訓練セットをキャッシュしているだけで、推論時には X_train, y_train と X_test をまとめてモデルに渡す。つまりユーザー側から見れば「ゼロ学習」であり、学習コストは事前学習段階で支払い済みだ。

なぜ XGBoost は今回負けたのか

XGBoost が 10 年間テーブルデータを支配してきた理由は 2 つある。

  1. 特徴量エンジニアリング——人手による交差特徴の構築、ターゲットエンコーディング、ビニング
  2. パラメータチューニング——learning_rate、max_depth、subsample…を一つずつ grid search

ICL パラダイムは、この 2 つをまとめて「奪い取って」しまう。

  • 特徴量エンジニアリングは事前学習に吸収される:TabPFN は事前学習の段階でさまざまなテーブル構造を見ており、人手の交差に相当する表現を自ら獲得している
  • チューニングはゼロショット汎化に置き換わる:学習率を選ぶ必要も、過学習対策も不要。モデルは事前学習で「未来のデータ分布」をすでに経験済み

これは 10,000 枚の模擬試験をすでに解いた受験生のようなものだ。実際の試験会場で追加対策を施す必要はない。

さらに深い原因は、分布の前提が変わった点にある。XGBoost は本来「最適な決定木の分割を見つける」仕組みで、訓練とテストの分布が一致していることを仮定している。TabPFN 系のモデルは「あらゆるテーブルタスクが何らかの事前分布から生まれてくる」と仮定する。多くの業務シナリオではこちらの仮定のほうが現実に近い。世の中のテーブルデータは突然湧いて出るわけではなく、他のテーブルと何らかの構造を共有している。

現実的な代償:推論時のコスト

ここで、ブログや論文でもつい軽く触れられがちな問題がある。推論コストだ。

ICL パラダイムでは、予測のたびにモデルが訓練セット全体を context として受け取る。N=1000 程度の小さなデータセットなら問題ない。だが N=50,000 を超えると話が変わってくる。

  • 1 回あたりの推論時間が線形に増える
  • メモリ使用量は訓練セットサイズに比例する
  • バッチ推論をしたい場合、訓練セットをバッチ分コピーする必要がある

比較してみよう。

シナリオXGBoostTabPFN
10 万行の推論ミリ秒単位数秒〜数十秒
メモリ使用量数十 MBcontext に比例、数 GB に達する可能性
コールドスタート数分の学習が必要すぐ使える
インクリメンタル学習再 fit するだけデータセット全体を再入力する必要あり

つまり落としどころははっきりしている。

  • 中小規模データセット(5,000 行未満):TabPFN をほぼ無条件に選ぶ
  • 中〜大規模(5,000〜50,000 行):推論遅延が許容できるか次第
  • 超大規模 + 低レイテンシ要件:XGBoost / LightGBM が依然第一選択

もう一つの現実がある。TabPFN 系のモデルは現状、エコシステムの成熟度で XGBoost に大きく劣る。SHAP による説明、特徴量重要度、partial dependence plot といった機能が、新モデルでは未実装か未成熟だ。本番環境で「モデルが正確なこと」は要件の 1/3 に過ぎない。「説明可能性」と「デバッグ容易性」が残り 2/3 を占める。

編集部の考察

この出来事の本質は、「TabPFN が XGBoost より強い」ではない。

これはテーブル領域において 10 年ぶりに、XGBoost がデフォルト最適解ではないという状況が生まれたということだ。過去 10 年、Kaggle でも業務モデリングでも、default baseline は常に XGBoost(あるいは LightGBM / CatBoost のいずれか)だった。あらゆるタスクで最強だったからではなく、「最も間違いにくい」選択肢だったからだ。TabPFN のようなモデルの登場は、中小データセットに限ればこの「最も間違いにくい」デフォルトの座を奪い取った。

ただし、いくつか留保がある。

  1. サンプルバイアス:比較対象となった 14 個のデータセットは具体的に何か。OpenML の中規模データセットは、そもそも ICL に有利(分布がきれいで、特徴量エンジニアリングの余地が小さい)な方向に偏っている可能性がある。高度に異質で特徴量エンジニアリングがものを言うシナリオ(金融の与信管理、レコメンド)では、結論が成り立たないかもしれない。
  2. 単一ソースの検証:いま見えるのは efraingaray という独立ブログによる実験だけだ。著者は XGBoost 側を cherry-pick せずに誠実に比較しているが、それでも TabPFN 原論文、TabICL 論文、TabArena や PMLB などの第三者ベンチマークによる多ソースのクロスチェックが必要だ。
  3. エンジニアリングの谷:論文で動くことと本番で動くことの間には、SHAP、drift monitoring、A/B テスト基盤といった距離がある。XGBoost のエコシステムは 10 年かけて整えられたものだ。

個人的予測を言えば、2025〜2026 年には中小企業のデータサイエンスチームがプロトタイピング段階で TabPFN / TabICL 系ツールを大量採用し、「まず baseline を学習する」という工程を省略するようになるだろう。ただし本番環境、特に日次で百万行を処理するようなシステムでは、XGBoost 系が引き続き主流であり続ける。

注視すべきシグナルは、TabPFN チーム(Tobitta / Hollmann ら)が進めている「大データセット拡張」(TabPFN v2 の 10,000 行超対応)と、TabArena のような統一ベンチマークがテーブル領域の「ImageNet モーメント」を正式に認定するかどうかだ。


参考ソース:

出典: https://efraingaray.com/en/blog/tabpfn-vs-xgboost/