의견

AI 리더보드의 사각지대, 왜 인도 평가는 목소리를 못 내나

인도를 위한 고품질 벤치마크는 이미 존재하지만, 글로벌 리더보드에 진입할 수 있는 '자리'가 없다. 데이터 부족이 아니라 거버넌스 설계의 부재가 진짜 문제라는 논문이 화제다.

글자 크기

arXiv에 올라온 논문(번호 2608.18117)의 주장이 날카롭다. 인도에 고품질 언어 벤치마크가 없는 게 아니라 자리가 없다는 것이다. IndicSUPERB, MILU, LAHAJA는 학계에서 이미 인정받는 데이터셋이지만 ChatBot Arena, Open LLM Leaderboard 같은 글로벌 리더보드에는 단 한 번도 포함되지 않았다.

논문 원문은 이렇게 말한다. "The barrier is institutional design... no governance mechanism compels them to do so." — 장벽은 데이터가 아니라 제도 설계이며, 어떤 거버넌스 메커니즘도 리더보드가 그렇게 하도록 강제하지 않는다.

즉 "데이터가 없다"는 명제는 거짓이다. 진짜 질문은 이거다. 어떤 벤치마크를 '글로벌'로 인정할지 결정할 권한을 가진 사람이 누구이며, 그 메커니즘이 왜 남반구에 열린 적이 없냐는 것.


데이터가 없어서가 아니라 자리가 없어서

먼저 한 가지 분명히 하자. 이건 어느 인도 팀이 무시당한다고 불평한 보고서가 아니다. 세 벤치마크 모두 정식 출판됐고, peer review를 통과했고, 유지보수 팀이 있다.

  • IndicSUPERB: 인도 공인어 22종을 커버하며, 자동 음성 인식(ASR), 음성 번역, 언어 식별 등 작업을 포함한다.
  • MILU: 다국어 이해 평가로, 인도 여러 문자의 자연어 추론, 독해를 다룬다.
  • LAHAJA: 저자원 시나리오를 위한 음성-언어 벤치마크로, 실제 사용 환경을 겨냥한다.

이 셋을 합치면 인도 지역 평가 인프라가 이미 갖춰져 있다. 논문은 이를 "India-specific benchmarks"라 부르며 IrokoBench(아프리카), AlGhafa(아랍어)도 함께 거론한다.

그런데 글로벌 리더보드는? 여전히 포함하지 않는다.

왜 "무대 위에 못 올라간다"는 문제가 논문 한 편을 낳을 만큼 중요한가? AI 평가 업계가 계속 써먹던 핑계를 정면으로 깨기 때문이다. "아프리카/남아시아 모델이 순위에서 성적이 나쁘면, 그건 데이터가 부족해서다." — 아니다, 데이터는 충분하고, 제도가 문을 닫아서 들어오지 못하는 것이다.

무시당한 세 이름

세 데이터셋이 어떤 위치인지 간단히 살펴보자. 이것이 변두리가 아님을 보여주기 위해서다.

IndicSUPERB

인도판 SuperB, 다국어 음성 벤치마크다. 힌디, 타밀어, 골어 등 22개 언어를 포함한다. ASR, 음성 번역, 언어 식별, 화자 검증까지 작업을 커버한다. IIIT Hyderabad 등에서 유지보수하고 있으며 여러 톱 컨퍼런스 논문에서 이미 인용됐다.

MILU

정식 명칭은 Multi-task Indic Language Understanding. 인도어 이해를 위한 다작업 벤치마크로, 인도판 MMLU에 해당하지만 언어 세트가 남아시아 시장을 겨냥한다. 텍스트 분류, QA, 자연어 추론을 포함한다.

LAHAJA

Low-resource Audio-language Holistic Assessment of Joint Abilities의 약자다. 저자원 시나리오에 초점을 맞추며, 가장 큰 특징은 '실제 환경'이라는 점이다. 잡음, 사투리, 코드 스위칭. 이것이 평범한 인도 사용자가 실제로 마주치는 음성 입력이다.

논문은 세 데이터셋을 합치면 인도 지역 평가 체계가 이미 형성됐다고 본다. 그러나 글로벌 차트에는 여전히 반영되지 않는다.

리더보드의 거버넌스 삼종세트가 전부 비어 있다

논문이 지적한 제도적 공백은 세 군데다. 어느 한 곳이든 데이터셋 하나 보충하는 것보다更难다.

1. 독립적 거버넌스

가장 인기 있는 범용 차트인 ChatBot Arena는 LMSYS가 운영하며, UC 버클리 + 스탠포드 + UT 오스틴 연구자들이 주축이다. Hugging Face의 Open LLM Leaderboard는 커뮤니티 주도로 돌아간다. OpenAI, Google, Anthropic의 내부 평가는 아예 공개하지 않는다.

문제는 무엇인가? 이 리더보드들의 "어떤 벤치마크를 포함할지"라는 결정은 운영 주체가 일방적으로 내린다. 외부 위원회도, 의무적 협의 절차도, 공시环节도 없다.

논문이 제안하는 건 독립적인 "벤치마크 편입 위원회"를 두는 것이다. 학계, 지역 대표, 시민 단체가 참여하며 IEEE 표준 위원회 같은 구조를 지향한다.

2. 이해충돌 정책

LMSYS는 클라우드 업체의 후원을 받는다. Hugging Face는 여러 모델 회사의 지원을 받는다. OpenAI는 자기 평가 대회를 열며 자기 모델이 항상 정상에 선다.

글로벌 리더보드 중 공개된 이해충돌 정책을 가진 곳은 단 하나도 없다. 운영 주체의 자금 출처 공개, 회피 조항, 외부 감사 — 어느 것도 요구되지 않는다.

이것이 인도 벤치마크가 "선택적으로 무시"당하는 것처럼 보이게 만드는 이유다. 음모가 아니라 제도적 공백이다. 운영 주체는 어떤 이유(작업량, 연산 자원, 비즈니스 관계)로든 벤치마크를 거부할 수 있고, 설명할 의무가 없다.

3. 지표 진화 메커니즘

벤치마크가 한 번 차트에 오르면 모델이 점수를 깎아서 무효화될 때까지 쓰인다. MMLU가 이미 그렇게 됐고, HumanEval는 GPT-4 계열에 의해 거의 천장에 도달했다.

그런데 글로벌 리더보드에는 일반적으로 정식 벤치마크 폐기/갱신 절차가 없다. 지표 진화가 수동적이고, 인적이며, 느리다. 논문은 평가 체계가 버전 관리, 자동 드리프트 감지, 정기적 재설계를 갖춰야 한다고 주장한다.

이 세 가지 — 독립 거버넌스, 이해충돌 정책, 지표 진화 — 는 전부 기술 문제가 아니다. 거버넌스 문제다.

상업적 압력은 절반만 고친다

논문은 이 지점에서 한 발 양보한다. 상업적 경쟁은 좋은 모델을 자연스럽게 밀어올린다. 그건 시장이 할 수 있는 일이다.

Aravind Srinivas가 ChatBot Arena에 직접 나설 이유는 없지만, Perplexity는 인도 시장을 잃지 않기 위해 인도어 케이스를 스스로 돌린다. OpenAI가 IndicSUPERB를 직접 테스트할 동기는 없지만, Google은 인도에서 Gemini 점유율을 끌어올리려고 다국어 지표에 매달린다.

하지만 "차트에 올랐느냐"는 문제는 시장이 해결 못 한다.

모델은 성능이 좋은데 차트에 안 오르면, 학술 인용, 정책 보고서, 기업 조달 리스트에서 '존재하지 않는' 취급을 받는다. 이런 신호 부재는 기술 문제가 아니라 제도 문제다. 상업적 압력은 '성능 격차'만 고칠 수 있고, '인지적 가시성'은 못 고친다.

내 판단은 이렇다. 기술 문제는 시장화할 수 있지만, 거버넌스 문제는 시장화할 수 없다. 전자는 경쟁으로, 후자는 규칙으로 해결한다.

아프리카와 아랍 지역의 같은 처지

인도가 유일한 사례이기도 않다. 논문은 IrokoBench(아프리카)와 AlGhafa(아랍어)를 같은 부류의 사례로 나란히 거론한다.

  • IrokoBench: 요루바어, 하우사어, 스와힐리어 등 약 20개 아프리카 언어를 커버한다.
  • AlGhafa: 현대 표준 아랍어와 방언 변종을 겨냥한 아랍어 NLP 벤치마크다.

두 데이터셋 모두 정식 발표됐고 학계 인정을 받았다. 글로벌 차트 역시 포함하지 않는다.

이건 "인도가 차별받는다"는 이야기가 아니다. 체계적인 지리적 편향이다.

어떤 리더보드가 "GPT-5가 Claude보다 영어에서 3점 더 좋다"만 알려준다면, 그것은 본질적으로 단일 언어, 단일 문화, 단일 시장의 평가 시점을 최적화하고 있는 셈이다. 그 외의 세상 — 사용 인구만 따지면 영어 모어 화자를 훨씬 뛰어넘는 — 은 기본적으로 '긴 꼬리'로 분류된다.

데이터셋 자체의 분포 편향은 문제가 아니다. 차트의 '글로벌' 라벨이 가짜인 게 문제다.

다음 단계: 차트를 코드 감사처럼 다루기

그러면 뭘 할 수 있나?

논문이 제시하는 방향은 평가 체계를 외부 감사가 필요한 공공 인프라로 취급하는 것이다. 구체적으로 세 가지.

  1. 편입/배제 사유 강제 공개. 운영 주체가 벤치마크를 거부하려면 이유(연산 비용, 관련성, 규모)를 공개해야 한다.
  2. 독립 위원회 설치. 학계 + 지역 대표 + 시민 단체로 구성하며, 학술지 편집 위원회와 유사한 구조.
  3. 버전 관리 및 드리프트 감지 체계 구축. 벤치마크가 출시된 뒤 정기적으로 감사하고, '점수 saturation'이 감지되면 재설계를 시작한다.

논문套话처럼 들리지만, 본질은 이 한 문장이다. 평가는 중립적인 도구가 아니라 가치관이 담긴 제품이다. 숭배의 대상이 아니라 규제의 대상이 되어야 한다.

이게 실무자에겐 무슨 의미인가? 단기적으로 — ChatBot Arena의 GPT-5 vs Claude vs Gemini 순위를 계속 보는 건 여전히 영어 작업의 최적 프록시 지표다. 장기적으로 — '글로벌 차트'를 진리처럼 받아들이지 말아야 한다. 그것이 커버하는 세상은 네가 생각하는 것보다 훨씬 좁다.

AI 제품이 인도 시장에 들어가야 한다면, MMLU 점수가 아니라 IndicSUPERB + 실제 사용자 피드백이 기준이다. 차트는 마케팅이고, 평가는 엔지니어링이다.


출처: arxiv.org/abs/2608.18117

출처: https://arxiv.org/abs/2608.18117