Mercor 這週發了一份叫 Labor Index 的研究,裡面那張 Benchmark Map 第一次把這件事量化了:美國大約 90% 的工作時間,發生在主流 AI benchmark 幾乎不測的領域。
剩下那 10% 是什麼?軟體工程、數學、程式碼補全。SWE-bench、MATH、HumanEval 幾乎把這塊全佔了。
護工、餐飲、銷售、客服、行政——這些僱用美國相當大比例勞動力的工作,你在 HuggingFace 上找不到任何一個公開 benchmark 是專門測它們的。
Mercor 畫了張什麼圖
方法論不算複雜。Mercor 拿美國勞工部的 O*NET(職業資訊網路,每個職業對應一份詳細的任務清單)做底圖,把裡面所有工作任務歸類,然後挨個去和現有 AI benchmark 的題目做映射——這個任務「有沒有被某個 benchmark 測過」。
最後出來一張覆蓋率地圖。這張圖的意義在於:它把「AI 能做什麼(benchmark)」和「人靠什麼掙錢(O*NET)」放在了同一張座標系裡。
之前沒人這麼幹過。兩個領域的研究者是分開跑的:做 benchmark 的盯著公開 leaderboard,做勞動經濟的盯著統計局數據。兩邊數據從來沒對齊過。
Mercor 是 AI 招聘平台,做這件事的動機後面會說。但「第一張地圖」這個位置,它確實佔了。
數字:90% / 10%
具體覆蓋比例,Mercor 給出的判斷是:
- 程式設計相關任務(SWE-bench、HumanEval、MBPP 等)覆蓋較充分
- 數學推理(MATH、GSM8K、AIME 系列)覆蓋中等
- 現實工作中的大多數任務——跨職業溝通、多步操作、模糊問題定義——覆蓋接近 0
也就是說,你現在看到的幾乎所有主流 benchmark,本質上是在測「AI 已經擅長的東西」。
Mercor 的核心結論一句話:當前 benchmark 的覆蓋面和美國實際勞動力市場完全不匹配。
被集體忽視的工作
哪些活兒沒被測?Mercor 列了幾個大類:
- 照護與健康支援:護工、醫院導診、心理諮商輔助
- 餐飲服務:點餐、庫存、應對突發狀況
- 銷售:B2B 跟進、談判、關係維護
- 客服:一線坐席、退換貨、情緒安撫
- 行政與營運:資料登錄、跨部門協調
為什麼 benchmark 不去測它們?三層原因:
- 難自動評分——不像程式碼有 test case,客服回答好不好,得人評。
- 常識 + 人際互動佔比高——多輪對話、情緒識別、模糊意圖拆解。
- 沒有清楚的對錯——「這個銷售話術好不好」「這餐飯推薦得行不行」,評分維度本身就是主觀的。
Benchmark 天然偏愛可量化、有標準答案、可以批次執行的任務。數學題、程式題大行其道。護工話術、餐飲調度、進銷存優化這種「佔 GDP 一大塊」的活兒,AI 廠商集體裝看不見。
這代表廠商在優化錯的東西
問題來了:當 OpenAI 拿新模型刷到 AIME 滿分、Anthropic 在 SWE-bench Verified 上拿到接近人類頂尖水準,他們到底在優化什麼?
答案是:一個和真實經濟價值嚴重脫節的指標。
類比一下:2012 年 ImageNet 讓所有視覺公司衝上去,後來大家才發現——識別 1000 類物體和「自駕車能看到路邊小孩」之間隔著一道巨大的鴻溝。Benchmark 高分不等於真實場景高分。
今天在 LLM 領域,這道鴻溝又出現了。只不過這次更隱蔽,因為程式和數學本身也有真實經濟價值,廠商可以拿「AI 現在能幫程式設計師寫一半程式」來為刷榜辯護。但真正決定 AI 長期 GDP 影響的是那些「難測」的產業——而這些產業,一個像樣的 benchmark 都沒有。
結果就是資本和工程資源被嚴重錯配。所有頂尖實驗室都在搶同一塊 10% 的小蛋糕。剩下 90% 沒人在乎。
Mercor 的動機和這份資料集的侷限
Mercor 不是什麼中立學術機構。它是做 AI 招聘的平台,商業模式是幫企業用 AI 評估候選人。這份報告發布的時間點,顯然是在為自家的勞動力評估產品打前哨——「看,benchmark 都不準,所以你需要我們」。
這一層動機要承認。
那這份研究的侷限呢?
- 資料來源是 O*NET,本質上是個職業描述資料庫,不是真實的工時資料。
- 涵蓋國家只有美國,跟中、印、歐的勞動力結構差很多。
- 產業粒度只到「職業大類」,沒到「具體職位」。
- benchmark 覆蓋度的定義本身就是個判斷題——「客服對話」算被 LLM-as-judge 測過嗎?這事兒 Mercor 自己定義。
但即便這樣,這張圖仍然是有用的。它指出了一個之前沒人量化過的事實:AI 評測圈和真實勞動力市場是兩個宇宙。
編輯思考
這件事比表面更深。
它解釋了為什麼 GPT-5 / Claude 4.5 在 SAT 數學上能拿 99%,但你讓它幫你訂一張隔天早上 6 點的轉機航班,它還是得反覆跟你確認 5 次才敢下單——因為「訂機票」這個任務在 benchmark 世界裡根本不存在。
這件事和過去哪些不同?這次脫節是結構性的。以前 benchmark 和真實場景的 gap,往往是單一任務難度的 gap(下棋輸給卡斯帕羅夫,但能贏 99% 業餘選手)。現在的問題不是難度,是「方向錯」——bench 都在測你已經擅長的東西,而真正能產生 GDP 影響的工作,你連測都沒測。
我的預測:接下來 2-3 年,benchmark 通膨會持續——SWE-bench 即將刷滿,接下來會出現更難的新題,然後也刷滿。同時,「真實經濟價值」類 benchmark 會慢慢長出來——可能是客服對話評分、可能是照護流程模擬、可能是銷售成單率預測。這些新 benchmark 一旦立起來,AI 廠商們的排名會重新洗牌。
不確定的地方:這種「真實工作類 benchmark」能不能在學術圈活下來。它天然有資料隱私、人工評分一致性、標準化困難等問題。很可能最後會變成企業內部測試,不公開 leaderboard——那對整個生態未必是好事。
但方向已經很清楚:刷榜的下半場,不是刷更難的題,而是刷從來沒被刷過的題。