Mercor 这周发了一份叫 Labor Index 的研究,里面那张 Benchmark Map 第一次把这件事量化了:美国大约 90% 的工作时间,发生在主流 AI benchmark 几乎不测的领域。
剩下那 10% 是什么?软件工程、数学、代码补全。SWE-bench、MATH、HumanEval 几乎把这块全占了。
护工、餐饮、销售、客服、行政——这些雇佣了美国相当大比例劳动力的工作,你在 HuggingFace 上找不到任何一个公开 benchmark 是专门测它们的。
Mercor 画了张什么图
方法论不算复杂。Mercor 拿美国劳工部的 O*NET(职业信息网络,每个职业对应一份详细的任务清单)做底图,把里面所有工作任务归类,然后挨个去和现有 AI benchmark 的题目做映射——这个任务「有没有被某个 benchmark 测过」。
最后出来一张覆盖率地图。这张图的意义在于:它把「AI 能做什么(benchmark)」和「人靠做什么挣钱(O*NET)」放在了同一张坐标系里。
之前没人这么干过。两个领域的研究者是分开跑的:做 benchmark 的盯着公开 leaderboard,做劳动力经济的盯着统计局数据。两边数据从来没对齐过。
Mercor 是 AI 招聘平台,做这件事的动机后面会说。但「第一张地图」这个位置,它确实占了。
数字:90% / 10%
具体覆盖比例,Mercor 给出的判断是:
- 编程相关任务(SWE-bench、HumanEval、MBPP 等)覆盖较充分
- 数学推理(MATH、GSM8K、AIME 系列)覆盖中等
- 现实工作中的大多数任务——跨职业沟通、多步操作、模糊问题定义——覆盖接近 0
也就是说,你现在看到的几乎所有主流 benchmark,本质上是在测「AI 已经擅长的东西」。
Mercor 的核心结论一句话:当前 benchmark 的覆盖面和美国实际劳动力市场完全不匹配。
被集体忽视的工作
哪些活儿没被测?Mercor 列了几个大类:
- 护理与健康支持:护工、医院导诊、心理咨询辅助
- 餐饮服务:点单、库存、应对突发
- 销售:B2B 跟进、谈判、关系维护
- 客服:一线坐席、退换货、情绪安抚
- 行政与运营:数据录入、跨部门协调
为什么 benchmark 不去测它们?三层原因:
- 难自动评分——不像代码有 test case,客服回答好不好,得人评。
- 常识 + 人际交互动不动就要——多轮对话、情绪识别、模糊意图拆解。
- 没有清晰的对错——「这个销售话术好不好」「这顿饭推荐得行不行」,评分维度本身就是主观的。
Benchmark 天然偏爱可量化、有标准答案、可以批量跑的任务。数学题、代码题大行其道。护工话术、餐饮调度、进销存优化这种「占 GDP 一大块」的活儿,AI 厂商集体装看不见。
这意味着厂商在优化错的东西
问题来了:当 OpenAI 拿新模型刷到 AIME 满分、Anthropic 在 SWE-bench Verified 上拿到接近人类顶尖水平,他们到底在优化什么?
答案是:一个和真实经济价值严重脱节的指标。
类比一下:2012 年 ImageNet 让所有视觉公司冲上去,后来大家才发现——识别 1000 类物体和「自动驾驶能看到路边小孩」之间隔着一道巨大的鸿沟。Benchmark 高分不等于真实场景高分。
今天在 LLM 领域,这道鸿沟又出现了。只不过这次更隐蔽,因为编程和数学本身也有真实经济价值,厂商可以拿「AI 现在能帮程序员写一半代码」来为刷榜辩护。但真正决定 AI 长期 GDP 影响的是那些「难测」的行业——而这些行业,一个像样的 benchmark 都没有。
结果就是资本和工程资源被严重错配。所有顶尖实验室都在卷同一个 10% 的蛋糕。剩下 90% 没人在乎。
Mercor 的动机和这个数据集的局限
Mercor 不是什么中立学术机构。它是做 AI 招聘的平台,商业模式是帮企业用 AI 评估候选人。这份报告发布的时间点,显然是在为自家的劳动力评估产品打前站——「看,benchmark 都不准,所以你需要我们」。
这一层动机要承认。
那这份研究的局限呢?
- 数据来源是 O*NET,本质上是个职业描述数据库,不是真实的工时数据。
- 覆盖国家只有美国,跟中、印、欧的劳动力结构差很多。
- 行业粒度到「职业大类」,没到「具体岗位」。
- benchmark 覆盖度的定义本身就是个判断题——「客服对话」算被 LLM-as-judge 测过吗?这事儿 Mercor 自己定义。
但即便这样,这张图仍然是有用的。它指出了一个之前没人量化过的事实:AI 评测圈和真实劳动力市场是两个宇宙。
编辑思考
这件事比表面更深。
它解释了为什么 GPT-5 / Claude 4.5 在 SAT 数学上能拿 99%,但你让它帮你订一张第二天早上 6 点的转机航班,它还是得反复跟你确认 5 次才敢下单——因为「订机票」这个任务在 benchmark 世界里压根不存在。
这件事和过去哪些不同?这次脱节是结构性的。之前 benchmark 和真实场景的 gap,往往是单个任务难度的 gap(下棋输给卡斯帕罗夫,但能赢 99% 业余选手)。现在的问题不是难度,是「方向错」——bench 都在测你已经擅长的东西,而真正能产生 GDP 影响的工作,你连测都没测。
我的预测:接下来 2-3 年,benchmark 通货膨胀会持续——SWE-bench 即将刷满,接下来会出现更难的新题,然后也刷满。同时,「真实经济价值」类 benchmark 会慢慢长出来——可能是客服对话打分、可能是护理流程模拟、可能是销售成单率预测。这些新 benchmark 一旦立起来,AI 厂商们的排名会重新洗牌。
不确定的地方:这种「真实工作类 benchmark」能不能在学术社区活下来。它天然有数据隐私、人工评分一致性、标准化困难等问题。很可能最后会变成企业内部测试,不公开 leaderboard——那对整个生态未必是好事。
但方向已经很清楚:刷榜的下半场,不是刷更难的题,而是刷从来没被刷过的题。