AI評価は「見える部分」しか見ていない——Mercorが暴いたbenchmarkと現実の仕事の断絶
Mercorは今週、Labor Indexという名のレポートを発表した。その中核にあるBenchmark Mapが、ひとつの現実を初めて数値で突きつけた。米国の労働時間の約90%は、主流AIベンチがほとんどカバーしていない領域で発生している。
残り10%とは何か。ソフトウェアエンジニアリング、数学、コード補完。SWE-bench、MATH、HumanEvalがほぼこの領域を独占している。
介護、外食、営業、カスタマーサポート、事務——いずれも米国労働力の相当シェアを支える仕事だが、HuggingFace上にはこれら専用の公開benchmarkがひとつもない。
Mercorが作ったのはどんな地図か
方法論自体は難しくない。Mercorは米国労働省O*NET(職業情報ネットワーク。各職業ごとに詳細なタスク一覧を持つ)を土台にして、すべての仕事をタスクに分解し、既存のAIベンチの問題とマッピングした。つまり「このタスクは、どこのベンチで測られているか」という対応付けを総当たりで取っている。
こうして出来上がったのが網羅率マップだ。この図の意味は明快で、「AIにできること(benchmark)」と「人間が稼ぐためにやっていること(O*NET)」を同じ座標系に載せた点にある。
以前は誰もこんなことをしていなかった。benchmark研究者は公開リーダーボードを追い、労働経済の研究者は統計局の数字を追う。双方が走っているトラックは別で、データが交差することはなかった。
MercorはAI採用プラットフォームで、この研究を行う動機については後述する。それでも「最初の地図」というポジションは事実として彼らが占めた。
数字:90% / 10%
カバレッジの内訳について、Mercorは次のように整理している。
- コーディング関連タスク(SWE-bench、HumanEval、MBPPなど)は比較的カバーされている
- 数学推論(MATH、GSM8K、AIMEシリーズ)は中程度
- 実業務の大多数——職種横断のコミュニケーション、複数ステップの処理、あいまいな要件定義——はほぼ0%
つまり、今目にするほぼすべての主流ベンチは、本質的に「AIがすでに得意なこと」を測っている。
Mercorの結論はひとことで言えば、現行ベンチの網羅範囲は米国の実労働市場と完全に噛み合っていない、ということに尽きる。
集合的に見過ごされている仕事
測られていないのはどんな仕事か。Mercorは大まかに以下のカテゴリを挙げている。
- 介護・健康サポート:介護スタッフ、病院の案内、メンタルヘルスの補助
- 飲食サービス:注文対応、在庫管理、突発対応
- 営業:B2Bフォロー、交渉、リレーション維持
- カスタマーサポート:一次対応、返品交換、感情ケア
- 事務・運営:データ入力、部署横断の調整
なぜベンチはこれらを測らないのか。理由は3層ある。
- 自動採点が困難——コードにはテストケースがあるが、カスタマーサポートの回答が良いかどうかは人間が判断するしかない。
- 常識と対人スキルが常に求められる——複数ターンの対話、感情認識、意図の分解。
- 正解が一つに定まらない——「この営業トークはうまかったか」「この食事推荐は適切か」、評価軸そのものが主観的になる。
ベンチはもともと、量化可能で正解が決まっていて、大量に流せるタスクを好む。数学やコードが幅を利かせるのはこのためだ。介護トーク、飲食シフト管理、在庫最適化——GDPに占める割合は無視できないはずの仕事に、AIベンダーは目をつぶってきた。
これは「間違ったもの」を磨いていることを意味する
ここからが本題だ。OpenAIが新モデルでAIME満点を叩き出し、AnthropicがSWE-bench Verifiedで人間トップレベルに迫ったとして、彼ら最適化している対象は本当に正しいのか。
答えは、現実の経済価値と深刻に乖離した指標、ということになる。
喩えて言うなら、2012年のImageNetが全ビジュアル企業を駆り立てた後、みんながようやく気づいた。「1000クラスの物体認識」と「自動運転が路地の子供を検知する」の間には巨大な隔たりがある。ベンチの高得点と実シナリオの高得点は別物だ。
今、LLMの世界で同じ溝が再び開いている。ただし今回はより見えにくい。プログラミングと数学自体にもたしかに実経済的価値があるので、「AIがすでにプログラマーの仕事を半分やってくれる」と刷榜行為を正当化できてしまう。しかしAIの長期的なGDPインパクトを決めるのは「測りにくい」業界であり、それらにはまともなベンチが一つも存在しない。
その結果、資本とエンジニアリングリソースが著しく misallocate されている。トップラボたちは同じ10%の奪い合いに全リソースを注ぎ込み、残り90%には誰も見向きもしない。
Mercorの動機と、このデータセットの限界
Mercorは中立的な学術機関ではない。AI採用プラットフォームで、候補者をAIで評価するサービスを企業向けに展開している。このレポートのタイミングを見れば、自社の労働力評価プロダクトへの布石であるのは明らかだ。「ほら、既存のベンチはどれも不正確。だからうちが必要でしょう」というメッセージ。
この利害関係は率直に認めておく必要がある。
では、この研究の限界はどこにあるか。
- データソースはO*NETであり、本質的には職業記述データベースであって、実労働時間のデータではない。
- 対象国は米国のみで、中国・インド・欧州の労働構造とはかなり異なる。
- 業界粒度は「職業大分類」止まりで、「具体職種」までは踏み込んでいない。
- ベンチ網羅度の定義自体が判断事項——「カスタマーサポート対話」はLLM-as-judgeで測られているとカウントするのか。これはMercorが独自に決めた基準だ。
それでもなお、この地図には価値がある。これまで誰も数値化しなかった事実、AI評価の世界と現実の労働市場は二つの別宇宙であることを示している。
編集部の所感
この問題は表面よりずっと深い。
GPT-5やClaude 4.5がSAT数学で99%を取れても、明朝6時の乗り継ぎ便を一発で予約してくれない——「航空チケット予約」というタスクがベンチの世界にそもそも存在しないからだ、ということがこのデータで説明できる。
過去の出来事と何が違うのか。今回の断絶は構造的なものだ。これまでのベンチと実シナリオのギャップは、難易度ギャップだった(カスパロフには負けるがアマチュア99%には勝てる、という類)。今度的问题是「方向が間違っている」——ベンチが測っているのはすでに得意なことで、本当ならGDPインパクトを生むはずの仕事はそもそも測られていない。
私の予測では、今後2〜3年はベンチインフレが続くだろう。SWE-benchはもうすぐ満点になる。次はさらに難しい新問題が現れて、それもすぐに満点になる。同時に、「実経済価値」を測るベンチが少しずつ生まれてくる。カスタマーサポート対話のスコアリングかもしれないし、介護フローのシミュレーションかもしれないし、営業成約率の予測かもしれない。こうした新ベンチがひとたび定着すれば、AIベンダーのランキングはがらっと入れ替わる。
不確実な点として、こうした「実業務系ベンチ」が学術コミュニティの中で生き残れるかは未知数だ。データプライバシー、人的評価の一貫性、標準化の困難といった問題が自然につきまとう。おそらく最終的には企業の社内テストとして形になり、リーダーボードは公開されない——そうなるとエコシステム全体にとって必ずしも良い結果とは言えない。
ただ方向性だけははっきりしている。刷榜の後半戦は、より難しい問題を解くことではなく、これまで誰も測っていなかった問題を測ることになる。