Mercor가 이번 주 Labor Index라는 이름의研究报告를 냈고, 그 안에 포함된 Benchmark Map는 한 가지를 처음으로 숫자로 보여준다. 미국 근로 시간의 약 90%가 주류 AI benchmark가 거의 다루지 않는 영역에서 일어난다는 사실이다.
나머지 10%는 무엇인가. 소프트웨어 엔지니어링, 수학, 코드 자동완성. SWE-bench, MATH, HumanEval이 이 부분을 거의 다 차지한다.
요양, 외식, 영업, 고객 상담, 행정 — 미국 노동력의 상당 부분을 고용하는 이런 직종들을 위해 만들어진 공개 benchmark는 HuggingFace 어디에도 없다.
Mercor가 그린 그림이 뭔가
방법론은 복잡하지 않다. Mercor는 미국 노동부의 O*NET(직업 정보 네트워크, 각 직업마다 상세한 과업 목록이 매핑되어 있는 데이터베이스)를 지도 기반으로 깔고, 그 안의 모든 작업 과제를 분류한 다음 기존 AI benchmark의 문항과 하나씩 매핑했다. 이 과제가 「어떤 benchmark에서 측정된 적 있는가」를 확인한 것이다.
최종 결과물은 커버리지 지도 한 장이다. 이 지도의 의미는 명확하다. 「AI가 무엇을 할 수 있는가(benchmark)」와 「사람이 무엇으로 돈을 버는가(O*NET)」을 같은 좌표계에 올려놓았다는 점이다.
이전까지는 이런 시도가 없었다. 양쪽 분야 연구자들이 각자 따로 놀았다. benchmark를 만드는 측은 공개 leaderboard만 쳐다보고, 노동 경제를 연구하는 측은 통계청 데이터만 본다. 두 데이터는 한 번도 정렬된 적이 없었다.
Mercor는 AI 채용 플랫폼이고, 이런 작업을 한 동기는 뒤에서 설명한다. 하지만 「최초의 지도」라는 포지션은 확실히 가져갔다.
숫자: 90% / 10%
Mercor가 제시한 구체적 커버리지 판단은 다음과 같다.
- 프로그래밍 관련 과제(SWE-bench, HumanEval, MBPP 등)는 커버리지가 충분
- 수학적 추론(MATH, GSM8K, AIME 시리즈)은 중간 수준
- 현실 업무의 대부분 과제 — 직무 간 커뮤니케이션, 다단계 운영, 모호한 문제 정의 — 의 커버리지는 0에 가깝다
즉, 지금 눈에 보이는 거의 모든 주류 benchmark는 본질적으로 「AI가 이미 잘하는 것」만 측정하고 있다.
Mercor의 핵심 결론은 한 문장이다. 현재 benchmark의 커버리지와 미국 실제 노동 시장은 완전히 매칭되지 않는다.
집단적으로 외면당한 직종들
어떤 일들이 측정이 안 되는가. Mercor는 몇 개 대분류를 제시한다.
- 돌봄과 건강 지원: 요양사, 병원 안내, 심리 상담 보조
- 외식 서비스: 주문, 재고 관리, 돌발 상황 대응
- 영업: B2B 팔로업, 협상, 관계 유지
- 고객 지원: 1차 상담, 교환/반품, 감정 케어
- 행정과 운영: 데이터 입력, 부서 간 에지
왜 benchmark가 이런 것들을 측정하지 않을까. 세 가지 이유가 있다.
- 자동 채점이 어렵다. 코드에는 test case가 있지만, 고객 응대가 좋고 나쁨은 사람이 평가해야 한다.
- 상식과 대인 상호작용이 계속 필요하다. 다회 대화, 감정 인식, 모호한 의도 분해.
- 명확한 정답이 없다. 「이 영업 멘트가 좋은가」 「이 식사 추천이 괜찮은가」 같은 평가는 기준 자체가 주관적이다.
Benchmark는 본래 정량화 가능하고, 표준 정답이 있고,批量으로 돌릴 수 있는 과제를 선호한다. 수학 문제와 코드 문제가 판을 치는 이유다. 요양 대화, 외식 스케줄링, 进销存 최적화처럼 「GDP의 큰 덩어리를 차지하는」 일은 AI厂商들이集体적으로 못 본 척한다.
이는厂商가 엉뚱한 것을 최적화하고 있다는 뜻이다
질문이 생긴다. OpenAI가 새 모델로 AIME 만점을 찍고, Anthropic이 SWE-bench Verified에서 인간顶级水准에 가까운 점수를 받게 됐을 때, 이들이 실제로 최적화한 것은 무엇인가?
답은 실제 경제적 가치와 심각하게 단절된 지표다.
비유하자면 이렇다. 2012년 ImageNet이 모든 비전 업체를 그赛道로 끌어들였고, 나중에야 모두가 깨달았다 — 1000개物体 식별과 「자율주행이路边 아이를 알아보는 것」 사이에는 거대한鸿沟가 있다는 것. Benchmark 고점이 실제场景 고점을 의미하지 않는다.
오늘 LLM 영역에서 이鸿沟가 다시 나타났다. 단지 이번에는 더 은밀하다. 프로그래밍과 수학 자체도 실제 경제적 가치가 있어서, 厂商들은 「AI가 이제 프로그래머의 절반 코딩을 도와준다」며刷榜를 정당화할 수 있다. 하지만 AI의 장기 GDP 영향을 결정짓는 것은 그런 「측정 어려운」 업종들이다. 그리고 그런 업종에는 아직 benchmark조차 없다.
결과적으로 자본과工程 자원이 심각하게 잘못 배분된다. 모든 顶级研究실이 같은 10%의 케이크를 놓고 경쟁한다. 나머지 90%는 아무도 신경 쓰지 않는다.
Mercor의 동기와 이 데이터셋의 한계
Mercor는 중립 학술 기관이 아니다. AI 채용 플랫폼이고, 비즈니스 모델은 기업이 AI로 후보자를 평가하도록 돕는 것이다. 이 报告의 발표 타이밍은 명확하게自家 노동력 평가 제품을 위한 포석이다 — 「보라, benchmark가 다 부정확하니까 우리를 써라」.
이런 동기는 인정해야 한다.
그러면 이 연구의 한계는 무엇인가.
- 데이터 출처가 O*NET인데, 본질적으로 직업 설명 데이터베이스지 실제 근무 시간 데이터가 아니다.
- 커버 국가가 미국뿐이라 중국·인도·유럽의 노동 구조와는 거리가 멀다.
- 업종 단위가 「직업 대분류」까지만 가고 「구체 직무」까지는 내려가지 않는다.
- benchmark 커버리지 정의 자체가 판단 영역이다 — 「고객 상담 대화」를 LLM-as-judge가 측정했다고 칠 것인가. 이건 Mercor가 자체적으로 정의한 것이다.
그렇다 해도 이 지도는 여전히 유용하다. 이전에 아무도 숫자로 보여주지 못한 사실을 지적했기 때문이다. AI 평가계와 실제 노동 시장은 두 개의 우주다.
편집자 생각
이 화제는 표면보다 깊다.
이 데이터는 왜 GPT-5 / Claude 4.5가 SAT 수학에서 99%를 받지만, 다음 날 아침 6시 환승 항공권을 끊어달라고 하면 5번을 확인하고서야 주문하는지를 설명해준다. 「항공권 끊기」라는 과제가 benchmark 세계에는 애초에 존재하지 않기 때문이다.
이 일이 과거 사례와 어떻게 다른가. 이번 단절은 구조적이다. 예전 benchmark와 실제 장면의 갭은 보통 개별 과제 난이도의 갭이었다(체스에서卡斯帕罗夫한테 지지만 아마추어 상위 99%는 이긴다). 지금 문제는 난이도가 아니라 「방향이 틀렸다」는 것이다. benchmark는 당신이 이미 잘하는 것을 측정하고 있고, 실제로 GDP 영향을 만들 수 있는 일은 측정이 시작되지도 않았다.
나의 예측: 앞으로 2~3년 동안 benchmark 인플레이션은 계속될 것이다 — SWE-bench가 곧 포화되고, 더 어려운 새 문제가 등장하고, 그것도 포화될 것이다. 동시에 「실제 경제적 가치」류 benchmark가 슬금슬금 자라날 것이다 — 고객 상담 다이얼로그 채점, 돌봄 절차 시뮬레이션, 영업 성사율 예측 같은 것. 이런 새 benchmark가 자리를 잡으면, AI 厂商들의 순위는 다시洗牌될 것이다.
불확실한 부분: 이런 「실제 업무형 benchmark」가 학계에서 살아남을 수 있을지. 데이터 프라이버시, 인적 채점 일관성, 표준화 어려움 같은 문제가 본질적으로 따른다. 결국엔企业内部 테스트로 남고 공개 leaderboard는 안 나올 가능성이 크다 — 그건 생태계 전체에 꼭 좋은 일은 아니다.
방향은 이미 명확하다. 刷榜의 후반부는 더 어려운 문제를 푸는 게 아니라, 한 번도 풀려 본 적 없는 문제를 푸는 것이다.