觀點

AI 評測集體失焦:Mercor 揭露 benchmark 只覆蓋 10% 真實工作

Mercor 發布的 Labor Index 首次量化指出,美國九成工時所對應的工作場景,主流 AI benchmark 幾乎完全沒測過。頂尖實驗室正在為同一塊小蛋糕互相廝殺。

字級

Mercor 這週發了一份叫 Labor Index 的研究,裡面那張 Benchmark Map 第一次把這件事量化了:美國大約 90% 的工作時間,發生在主流 AI benchmark 幾乎不測的領域。

剩下那 10% 是什麼?軟體工程、數學、程式碼補全。SWE-bench、MATH、HumanEval 幾乎把這塊全佔了。

護工、餐飲、銷售、客服、行政——這些僱用美國相當大比例勞動力的工作,你在 HuggingFace 上找不到任何一個公開 benchmark 是專門測它們的。

Mercor 畫了張什麼圖

方法論不算複雜。Mercor 拿美國勞工部的 O*NET(職業資訊網路,每個職業對應一份詳細的任務清單)做底圖,把裡面所有工作任務歸類,然後挨個去和現有 AI benchmark 的題目做映射——這個任務「有沒有被某個 benchmark 測過」。

最後出來一張覆蓋率地圖。這張圖的意義在於:它把「AI 能做什麼(benchmark)」和「人靠什麼掙錢(O*NET)」放在了同一張座標系裡。

之前沒人這麼幹過。兩個領域的研究者是分開跑的:做 benchmark 的盯著公開 leaderboard,做勞動經濟的盯著統計局數據。兩邊數據從來沒對齊過。

Mercor 是 AI 招聘平台,做這件事的動機後面會說。但「第一張地圖」這個位置,它確實佔了。

數字:90% / 10%

具體覆蓋比例,Mercor 給出的判斷是:

  • 程式設計相關任務(SWE-bench、HumanEval、MBPP 等)覆蓋較充分
  • 數學推理(MATH、GSM8K、AIME 系列)覆蓋中等
  • 現實工作中的大多數任務——跨職業溝通、多步操作、模糊問題定義——覆蓋接近 0

也就是說,你現在看到的幾乎所有主流 benchmark,本質上是在測「AI 已經擅長的東西」。

Mercor 的核心結論一句話:當前 benchmark 的覆蓋面和美國實際勞動力市場完全不匹配。

被集體忽視的工作

哪些活兒沒被測?Mercor 列了幾個大類:

  • 照護與健康支援:護工、醫院導診、心理諮商輔助
  • 餐飲服務:點餐、庫存、應對突發狀況
  • 銷售:B2B 跟進、談判、關係維護
  • 客服:一線坐席、退換貨、情緒安撫
  • 行政與營運:資料登錄、跨部門協調

為什麼 benchmark 不去測它們?三層原因:

  1. 難自動評分——不像程式碼有 test case,客服回答好不好,得人評。
  2. 常識 + 人際互動佔比高——多輪對話、情緒識別、模糊意圖拆解。
  3. 沒有清楚的對錯——「這個銷售話術好不好」「這餐飯推薦得行不行」,評分維度本身就是主觀的。

Benchmark 天然偏愛可量化、有標準答案、可以批次執行的任務。數學題、程式題大行其道。護工話術、餐飲調度、進銷存優化這種「佔 GDP 一大塊」的活兒,AI 廠商集體裝看不見。

這代表廠商在優化錯的東西

問題來了:當 OpenAI 拿新模型刷到 AIME 滿分、Anthropic 在 SWE-bench Verified 上拿到接近人類頂尖水準,他們到底在優化什麼?

答案是:一個和真實經濟價值嚴重脫節的指標。

類比一下:2012 年 ImageNet 讓所有視覺公司衝上去,後來大家才發現——識別 1000 類物體和「自駕車能看到路邊小孩」之間隔著一道巨大的鴻溝。Benchmark 高分不等於真實場景高分。

今天在 LLM 領域,這道鴻溝又出現了。只不過這次更隱蔽,因為程式和數學本身也有真實經濟價值,廠商可以拿「AI 現在能幫程式設計師寫一半程式」來為刷榜辯護。但真正決定 AI 長期 GDP 影響的是那些「難測」的產業——而這些產業,一個像樣的 benchmark 都沒有。

結果就是資本和工程資源被嚴重錯配。所有頂尖實驗室都在搶同一塊 10% 的小蛋糕。剩下 90% 沒人在乎。

Mercor 的動機和這份資料集的侷限

Mercor 不是什麼中立學術機構。它是做 AI 招聘的平台,商業模式是幫企業用 AI 評估候選人。這份報告發布的時間點,顯然是在為自家的勞動力評估產品打前哨——「看,benchmark 都不準,所以你需要我們」。

這一層動機要承認。

那這份研究的侷限呢?

  • 資料來源是 O*NET,本質上是個職業描述資料庫,不是真實的工時資料。
  • 涵蓋國家只有美國,跟中、印、歐的勞動力結構差很多。
  • 產業粒度只到「職業大類」,沒到「具體職位」。
  • benchmark 覆蓋度的定義本身就是個判斷題——「客服對話」算被 LLM-as-judge 測過嗎?這事兒 Mercor 自己定義。

但即便這樣,這張圖仍然是有用的。它指出了一個之前沒人量化過的事實:AI 評測圈和真實勞動力市場是兩個宇宙。

編輯思考

這件事比表面更深。

它解釋了為什麼 GPT-5 / Claude 4.5 在 SAT 數學上能拿 99%,但你讓它幫你訂一張隔天早上 6 點的轉機航班,它還是得反覆跟你確認 5 次才敢下單——因為「訂機票」這個任務在 benchmark 世界裡根本不存在。

這件事和過去哪些不同?這次脫節是結構性的。以前 benchmark 和真實場景的 gap,往往是單一任務難度的 gap(下棋輸給卡斯帕羅夫,但能贏 99% 業餘選手)。現在的問題不是難度,是「方向錯」——bench 都在測你已經擅長的東西,而真正能產生 GDP 影響的工作,你連測都沒測。

我的預測:接下來 2-3 年,benchmark 通膨會持續——SWE-bench 即將刷滿,接下來會出現更難的新題,然後也刷滿。同時,「真實經濟價值」類 benchmark 會慢慢長出來——可能是客服對話評分、可能是照護流程模擬、可能是銷售成單率預測。這些新 benchmark 一旦立起來,AI 廠商們的排名會重新洗牌。

不確定的地方:這種「真實工作類 benchmark」能不能在學術圈活下來。它天然有資料隱私、人工評分一致性、標準化困難等問題。很可能最後會變成企業內部測試,不公開 leaderboard——那對整個生態未必是好事。

但方向已經很清楚:刷榜的下半場,不是刷更難的題,而是刷從來沒被刷過的題。


來源:Mercor Labor Index / Benchmark Map

來源: https://www.mercor.com/research/labor-index/benchmark-map/