AI 排行榜装聋作哑:印度评测为什么上不了台面
arXiv 上刚发了一篇论文(编号 2608.18117),核心观点很尖锐:印度不缺高质量的语言基准,缺的是席位。IndicSUPERB、MILU、LAHAJA 这几个数据集在学术界认可度已经够,但 ChatBot Arena、Open LLM Leaderboard 这类全球排行榜从不收录。
论文的原话是:"The barrier is institutional design... no governance mechanism compels them to do so."——障碍不是数据,是制度设计,没有任何治理机制强制排行榜这么做。
换句话说,"我们没有数据"是个伪命题。真问题是:谁有权力决定哪个基准算"全球",而这套机制从来不向南方开放。
不是没数据,是没座位
先说清楚一件事:这不是某个印度团队写了份报告抱怨被忽略。这三个基准都有正式发表、有 peer review、有维护团队。
- IndicSUPERB:覆盖 22 种印度官方语言,包含自动语音识别(ASR)、语音翻译、语种识别等任务。
- MILU:多语种理解评测,覆盖印度多种文字的自然语言推理、阅读理解。
- LAHAJA:低资源场景下的语音-语言基准,专门针对真实使用环境。
这三个凑在一起,已经是一套相对完整的印度区域评测基础设施。论文把它叫做 "India-specific benchmarks",并列点名的还有 IrokoBench(非洲)和 AlGhafa(阿拉伯语)。
但全球排行榜?从来不收录。
为什么"上不了台面"这个问题值得专门写一篇论文?因为它戳破了 AI 评测行业一直以来的一个借口:"如果非洲/南亚模型在榜上表现差,那是因为数据不够。"——不是的,数据够,制度不让它进门。
三个被忽略的名字
简单过一下这三个数据集的定位,让你感受一下这不是边角料。
IndicSUPERB
印度版 SuperB,多语种语音基准。22 种语言,包括印地语、泰米尔语、孟加拉语等。任务覆盖 ASR、语音翻译、语种识别、说话人验证。在 IIIT Hyderabad 等机构维护,已经被多篇顶会论文引用。
MILU
全称 Multi-task Indic Language Understanding。一个多任务的印度语言理解基准,类似印度版 MMLU,但语言集针对南亚市场。覆盖文本分类、QA、自然语言推理。
LAHAJA
Low-resource Audio-language Holistic Assessment of Joint Abilities。聚焦低资源场景,特点是"真实环境"——嘈杂、口音、混合语码。这才是普通印度用户真实面对的语音输入。
三个数据集加起来,论文认为已经形成了一个印度区域的评测体系。但全球榜单从来不收录。
排行榜的治理三件套全缺
论文点名的制度漏洞有三块,每一块都比补一个数据集难。
1. 独立治理
ChatBot Arena 是最火的通用榜,背后是 LMSYS,加州大学伯克利 + 斯坦福 + 德州大学奥斯汀的研究者。Hugging Face 的 Open LLM Leaderboard 是社区运营。OpenAI、Google、Anthropic 的内部评测根本不公开。
问题在哪?这些排行榜的"纳入什么基准"决定,是运营方单方面做的。没有外部委员会、没有强制咨询流程、没有公示环节。
论文建议的是:设立独立的"基准纳入委员会",成员包括学术界、地区代表、民间团体,类似 IEEE 标准委员会那种结构。
2. 利益冲突政策
LMSYS 拿了云厂商的赞助。Hugging Face 拿了多家模型公司的资助。OpenAI 自己办评测,自家模型永远在最上面。
没有任何一个全球排行榜有公开的 conflict-of-interest policy。 没有要求运营方披露资金来源、没有回避条款、没有第三方审计。
这是为什么印度基准被"选择性忽略"会显得很可疑——不是阴谋,是制度真空。运营方可以基于任何理由(工作量、计算资源、商业关系)拒绝某个基准,但不需要解释。
3. 指标演进机制
一个基准一旦上榜,会被刷分刷到失效。MMLU 已经这样了,HumanEval 几乎被 GPT-4 系列刷到接近天花板。
但全球排行榜普遍没有正式的基准淘汰/更新流程。指标演进是手动、人工、慢的。论文主张:评测体系应该有版本控制、有自动漂移检测、有定期重设计。
这三样东西——独立治理、利益冲突政策、指标演进——都不是技术问题。是治理问题。
商业压力能修一半
论文在这块其实做了一个让步:商业竞争会自然把好模型推上来,这是市场能办的事。
Aravind Srinivas 不会上 ChatBot Arena,但 Perplexity 会主动跑印度语言 case,因为不跑就丢印度市场。OpenAI 不会主动测 IndicSUPERB,但 Google 会为了拉 Gemini 在印度的份额去优化多语种指标。
但"上没上榜"这件事,市场解决不了。
一个模型跑分好但不上榜,意味着在学术引用、政策报告、企业采购清单里都"不存在"。这种信号缺失是制度问题,不是技术问题。商业压力只能修"性能差距",修不了"认知可见性"。
所以我的判断是:技术问题市场化,治理问题没法市场化。前者靠竞争,后者靠规则。
非洲和阿拉伯的同款困境
印度不是特例。论文把 IrokoBench(非洲)和 AlGhafa(阿拉伯语)并列为同类案例。
- IrokoBench:覆盖约 20 种非洲语言,包括约鲁巴语、豪萨语、斯瓦希里语等低资源语种。
- AlGhafa:阿拉伯语 NLP 基准,针对现代标准阿拉伯语和方言变体。
两个数据集都是正式发布、有学术认可度。全球榜单同样不收录。
这不是"印度被歧视",是一种系统性的地理偏见。
当一个排行榜只能告诉你"GPT-5 在英语上比 Claude 好 3 个点",它本质上是在优化一个单语种、单文化、单市场的评估视角。剩下的世界——使用人口加起来远超英语母语者——被默认归类为"长尾"。
数据集中分布本身没问题。榜单的"全球"标签是假的,这才是问题。
下一步:把榜单当代码审计
能怎么做?
论文给的方向是:把评测体系当成需要外部审计的公共基础设施。具体三条:
- 强制披露纳入/排除理由。运营方拒绝某个基准,必须公开理由(计算成本、相关性、规模)。
- 设立独立委员会。学术界+地区代表+民间团体,类似期刊编辑委员会。
- 建立版本控制和漂移检测。基准上线后定期审计,发现被"刷分刷穿"就启动重设计。
听着像在写论文套话,但本质上是在说:评测不是中立的工具,是带价值观的产品。它该被监管,不是被崇拜。
这事对从业者意味着什么?短期——继续看 ChatBot Arena 上的 GPT-5 vs Claude vs Gemini 排名,这仍然是英文任务的最佳代理指标。长期——别拿"全球榜单"当真理,它覆盖的世界比你以为的小得多。
如果一个 AI 产品要进入印度市场,靠的不是 MMLU 分数,是 IndicSUPERB + 真实用户反馈。榜单是营销,评测是工程。
引用:arxiv.org/abs/2608.18117