도구

TabPFN vs XGBoost: 14개 데이터셋 완승, 튜닝 종결자가 왔다

학습 없이 14개 공개 데이터셋에서 튜닝된 XGBoost를 이긴 TabPFN. 10년간 굳어진 테이블 모델의 기본값이 흔들리기 시작했다.

글자 크기

TabPFN vs XGBoost: 14개 데이터셋 완승, 튜닝 종결자가 왔다?

학습이 필요 없는 테이블 모델이 14개 데이터셋에서 튜닝을 마친 XGBoost를 격파했다.

[efraingaray.com의 블로그 글](https://efraingaray.com/en/blog/tabpfn-vs-xgboost/)을 처음 봤을 때, 또 하나의 "벤치마크 도살 논문"인 줄 알았다. 끝까지 읽어보니 그 정도로 단순하지도, 그렇다고 무시할 정도로 가볍지도 않았다.

14:0 전적표

먼저 성적표를 공개한다.

  • TabPFN이 14개 공개 테이블 데이터셋에서 XGBoost를 이겼다
  • TabICL 역시 14/14 완승
  • 비교 대상으로 나온 XGBoost는 날것이 아니라 hyperparameter tuning(그리드 서치 + 교차검증)을 거친 버전이다

즉, XGBoost는 이미 실무에서 뽑을 수 있는 최강 형태라는 뜻이다. 인턴이 무심코 n_estimators=100으로 돌린 결과가 아니다.

데이터 출처는 원작자 블로그 [efraingaray.com/en/blog/tabpfn-vs-xgboost/](https://efraingaray.com/en/blog/tabpfn-vs-xgboost/)이며, 8월 말 Hacker News 1면에 등장한 바 있다.

두 모델은 도대체 어떻게 "학습 없이" 동작하나

기존 ML 파이프라인은 이렇다: 학습셋을 가져와 → 모델을 학습시키고 → 그 모델로 예측한다. 학습과 추론이 분리돼 있다.

TabPFN과 TabICL은 다른 길을 간다. LLM이 쓰는 그 방식, in-context learning(ICL)이다.

  1. 학습 샘플을 그대로 모델 입력에 끼워 넣는다(prompt처럼)
  2. 모델은 파라미터를 업데이트하지 않고 곧바로 예측을 뱉는다
  3. 학습과 추론의 경계가 사라진다

구체적으로 TabPFN은 사전 합성 데이터로 학습된 Transformer이고, TabICL은 테이블 데이터 전용 ICL 아키텍처다. 둘 다 본질은 "사전 학습 때 셀 테이블을 잔뜩 봤으니, 추론 때 사용자가 준 샘플만으로도 판단한다"다.

코드 측면에서도 사용법은 극도로 단순하다. TabPFN 공식 인터페이스는 이런 모양이다.

from tabpfn import TabPFNClassifier

clf = TabPFNClassifier()
clf.fit(X_train, y_train)  # 내부적으로는 데이터를 저장만 한다
y_pred = clf.predict(X_test)

여기서 fit은 실제로 경사 하강을 돌리지 않는다. 학습셋을 캐시에 담아둘 뿐이고, 추론 단계에서 X_train, y_train과 X_test를 함께 모델에 넣는다. 따라서 사용자 입장에서는 이 모델이 "제로 학습"이다. 학습 비용은 사전 학습 단계에서 이미 치러졌다.

XGBoost가 이번에 진 이유

XGBoost가 10년간 테이블 영역을 지배한 건 두 가지 덕이다.

  1. 특성 공학(feature engineering) — 교차 특성과 타깃 인코딩, 구간화를 사람이 직접 설계
  2. 하이퍼파라미터 튜닝 — learning_rate, max_depth, subsample 등을 하나씩 grid search

ICL 패러다임은 이 두 가지를 동시에 흡수한다.

  • 특성 공학은 사전 학습에 흡수된다: TabPFN은 사전 학습 단계에서 다양한 테이블 구조를 이미 봤기에, 사람이 만든 교차 특성과 동등한 표현을 스스로 학습한다.
  • 튜닝은 제로 샴 일반화로 대체된다: 학습률을 고를 필요도, 과적합을 막을 필요도 없다. 모델은 사전 학습 과정에서 앞으로 마주칠 데이터 분포를 이미 "예습"했다.

비유하자면, 이미 10,000장의 모의고사를 풀어본 수험생이라 실제 시험장에서 더 이상 과외를 맞을 필요가 없는 셈이다.

더 본질적인 이유는 분포 가정이 달라졌기 때문이다. XGBoost는 본질적으로 "최적의 의사결정 트리 분할"을 찾는 모델이며, 학습-테스트 분포가 동일하다고 가정한다. TabPFN류 모델은 "모든 테이블 작업은 어떤 사전 분포에서 나온다"라고 가정한다. 이 가정이 오히려 많은 비즈니스 시나리오에 더 가깝다. 테이블 데이터는 어딘가에서 갑자기 튀어나온 게 아니라, 세상 다른 테이블들과 어떤 구조를 공유하니까.

현실의 대가: 추론 시 비용

블로그와 논문에서 흔히 가볍게 넘어가는 문제가 있다. 추론 비용이다.

ICL 패러다임에서는 매 예측마다 모델이 학습셋 전체를 context로 받아들인다. N=1,000 정도의 소규모 데이터셋이라면 별 문제 없다. 그런데 N=50,000 이상이 되면 상황이 달라진다.

  • 단일 추론 시간이 선형으로 증가한다
  • GPU 메모리 사용량이 데이터 크기에 비례한다
  • 배치 예측을 하려고? 학습셋 전체를 배치 수만큼 복사해야 한다

비교해보면 이렇다.

상황XGBoostTabPFN
10만 행 추론밀리초 단위수 초에서 수십 초
메모리 사용량수십 MBcontext 크기에 따라 증가, GB 단위 가능
콜드 스타트수 분 학습 필요바로 사용
증분 학습재fit만 하면 됨전체 데이터셋을 다시 넣어야 함

따라서 도입 경계는 꽤 뚜렷하다.

  • 중소규모 데이터셋(5,000행 미만): TabPFN을 거의 무조건 선택
  • 중대규모(5,000~50,000행): 추론 지연이 허용되는지 시나리오별로 판단
  • 초대규모 + 저지연 요구: XGBoost/LightGBM이 여전히 1순위

엔지니어링 현실도 있다. TabPFN류 모델의 생태계는 아직 XGBoost에 비해 한참 부족하다. SHAP 설명, 특성 중요도, partial dependence plot 같은 기능이 신모델에는 아예 없거나 미성숙 단계다. 실무에서 "모델이 정확하다"는 건 요구사항의 1/3에 불과하고, 나머지 2/3는 "설명 가능"과 "디버깅 가능"이다.

편집자의 생각

이 일의 본질은 "TabPFN이 XGBoost보다 강하다"가 아니다.

10년 만에 테이블 영역에 한 가지 시나리오가 등장했다. XGBoost가 기본 최적해가 아닌 상황이 생긴 것이다. 지난 10년간 어떤 Kaggle 대회든, 어떤 비즈니스 테이블 모델링이든 default baseline은 XGBoost(혹은 LightGBM/CatBoost 셋 중 하나)였다. 모든 태스크에서 최고여서가 아니라 "가장 실수하지 않는" 선택이었기 때문이다. TabPFN 같은 모델의 등장은 최소한 중소규모 데이터셋에서 그 "가장 실수하지 않는" 기본값을 가져왔다.

다만 몇 가지 불확실성을 짚어야 한다.

  1. 샘플 편향: 비교 대상이 된 14개 데이터셋이 구체적으로 어떤 것인가? OpenML의 중간 규모 데이터셋은 본질적으로 ICL 친화적(분포가 비교적 깔끔하고, 특성 공학 공간이 작다)일 가능성이 있다. 고도로 이질적이고 특성 공학이 중요한 시나리오(금융 리스크 관리, 추천 시스템)에서는 같은 결론이 나오리란 보장이 없다.
  2. 단일 출처 검증: 현재까지 확인된 것은 efraingaray의 독립 블로그 실험 하나다. 블로거가 정직한 비교(어설픈 XGBoost 튜닝 결과만 골라내지 않은)는 했지만, 그래도 TabPFN 원 논문, TabICL 논문, 그리고 TabArena, PMLB 같은 제3자 벤치마크의 교차 검증이 필요하다.
  3. 엔지니어링 갭: 모델 논문에서 돌아간다는 것과 프로덕션에 배포한다는 것 사이에는 SHAP, drift monitoring, A/B test framework 같은 거리감이 있다. XGBoost 생태계가 그걸 갖출 때까지 10년이 걸렸다.

내 예측은 이렇다. 2025~2026년, 중소규모 데이터 과학 팀은 프로토타입 검증 단계에서 TabPFN/TabICL 류 도구를 대량으로 채택해 "일단 baseline 학습부터" 단계를 건너뛸 것이다. 그러나 일평균 수백만 행을 처리하는 프로덕션 환경, 특히 그 정도 규모의 환경에서는 XGBoost 계열이 여전히 주류로 남을 가능성이 높다.

지켜볼 만한 시그널은 두 가지다. TabPFN 팀(Tobita/Hollmann 등)이 진행 중인 "대규모 데이터셋 확장" 작업(TabPFN v2의 10k+ 행 지원), 그리고 [TabArena](https://tabarena.ai) 같은 통합 벤치마크가 테이블 영역의 "ImageNet 모먼트"를 공식적으로 확정하는지.


참고 출처:

출처: https://efraingaray.com/en/blog/tabpfn-vs-xgboost/