arXiv 上剛發表了一篇論文(編號 2608.18117),核心論點相當尖銳:印度不缺高品質的語言基準,缺的是席位。IndicSUPERB、MILU、LAHAJA 這幾個數據集在學術界已有相當認受度,但 ChatBot Arena、Open LLM Leaderboard 這類全球排行榜從未收錄。
論文原文寫道:"The barrier is institutional design... no governance mechanism compels them to do so."——障礙不是數據,而是制度設計本身,因為沒有任何治理機制強制排行榜這麼做。
換句話說,「我們沒有數據」是個假命題。真正的問題是:誰有權力決定哪個基準才算「全球」,而這套機制從來不對南方國家開放。
不是沒數據,是沒座位
先把一件事說清楚:這不是某個印度團隊寫了份報告抱怨被忽略。這三個基準都有正式發表、有 peer review、有維護團隊。
- IndicSUPERB:覆蓋 22 種印度官方語言,涵蓋自動語音識別(ASR)、語音翻譯、語種識別等任務。
- MILU:多語種理解評測,覆蓋印度多種文字的自然語言推理、閱讀理解。
- LAHAJA:低資源場景下的語音-語言基準,專門針對真實使用環境。
這三者合在一起,已經是一套相對完整的印度區域評測基礎設施。論文稱之為「India-specific benchmarks」,並列點名的還有 IrokoBench(非洲)與 AlGhafa(阿拉伯語)。
然而全球排行榜呢?從未收錄。
為何「上不了台面」這個問題值得專門寫一篇論文?因為它戳破了 AI 評測行業一直以來的藉口:「如果非洲/南亞模型在榜上表現差,那是因為數據不夠。」——事實並非如此,數據夠,是制度不讓它進門。
三個被忽略的名字
簡單過一下這三個數據集的定位,讓你感受一下這絕非邊角料。
IndicSUPERB
印度版 SuperB,多語種語音基準。22 種語言,包括印地語、泰米爾語、孟加拉語等。任務涵蓋 ASR、語音翻譯、語種識別、說話者驗證。由 IIIT Hyderabad 等機構維護,已被多篇頂會論文引用。
MILU
全稱 Multi-task Indic Language Understanding。一個多任務的印度語言理解基準,類似印度版 MMLU,但語言集針對南亞市場。覆蓋文本分類、QA、自然語言推理。
LAHAJA
Low-resource Audio-language Holistic Assessment of Joint Abilities。聚焦低資源場景,特色是「真實環境」——嘈雜、口音、混合語碼。這才是普通印度用戶實際面對的語音輸入。
三個數據集加起來,論文認為已形成了一個印度區域的評測體系。但全球榜單從不收錄。
排行榜的治理三件套全缺
論文點名的制度漏洞有三塊,每一塊都比補一個數據集更難處理。
1. 獨立治理
ChatBot Arena 是最熱門的通用榜,背後是 LMSYS,由加州大學柏克萊、史丹佛、德州大學奧斯汀的研究者組成。Hugging Face 的 Open LLM Leaderboard 由社群營運。OpenAI、Google、Anthropic 的內部評測則完全不公開。
問題出在哪?這些排行榜的「納入什麼基準」決定,是營運方單方面做的。沒有外部委員會、沒有強制諮詢流程、沒有公示環節。
論文的建議是:設立獨立的「基準納入委員會」,成員包括學術界、地區代表、民間團體,類似 IEEE 標準委員會的結構。
2. 利益衝突政策
LMSYS 拿了雲端廠商的贊助。Hugging Face 拿了多家模型公司的資助。OpenAI 自己辦評測,自家模型永遠排最前面。
沒有任何一個全球排行榜有公開的 conflict-of-interest policy。不要求營運方披露資金來源、沒有迴避條款、沒有第三方稽核。
這正是為何印度基準被「選擇性忽略」會顯得很可疑——並非陰謀論,而是制度真空。營運方可以基於任何理由(工作量、計算資源、商業關係)拒絕某個基準,但不需要解釋。
3. 指標演進機制
一個基準一旦上榜,就會被刷分刷到失效。MMLU 已經這樣了,HumanEval 幾乎被 GPT-4 系列刷到接近天花板。
但全球排行榜普遍沒有正式的基準淘汰或更新流程。指標演進是手動、人工、緩慢的。論文主張:評測體系應該有版本控制、自動漂移偵測、定期重新設計。
這三樣東西——獨立治理、利益衝突政策、指標演進——都不是技術問題。是治理問題。
商業壓力能修一半
論文在這部分其實做了一個讓步:商業競爭會自然把好模型推上來,這是市場能辦的事。
Aravind Srinivas 不會上 ChatBot Arena,但 Perplexity 會主動跑印度語言案例,因為不跑就會失去印度市場。OpenAI 不會主動測 IndicSUPERB,但 Google 會為了拉抬 Gemini 在印度的市佔而去優化多語種指標。
但「上沒上榜」這件事,市場解決不了。
一個模型跑分好但不上榜,意味著在學術引用、政策報告、企業採購清單裡都「不存在」。這種信號缺失是制度問題,不是技術問題。商業壓力只能修「性能差距」,修不了「認知可見性」。
因此我的判斷是:技術問題交給市場化,治理問題無法市場化。前者靠競爭,後者靠規則。
非洲和阿拉伯的同款困境
印度並非特例。論文把 IrokoBench(非洲)與 AlGhafa(阿拉伯語)並列為同類案例。
- IrokoBench:覆蓋約 20 種非洲語言,包括約魯巴語、豪薩語、史瓦希里語等低資源語種。
- AlGhafa:阿拉伯語 NLP 基準,針對現代標準阿拉伯語及方言變體。
兩個數據集都是正式發布、有學術認受度。全球榜單同樣不收錄。
這不是「印度被歧視」,而是一種系統性的地理偏見。
當一個排行榜只能告訴你「GPT-5 在英語上比 Claude 好 3 個百分點」,它本質上是在優化一個單語種、單文化、單市場的評估視角。剩下的世界——使用人口加起來遠超英語母語者——被預設歸類為「長尾」。
數據集中分布本身沒問題。榜單的「全球」標籤是假的,這才是問題所在。
下一步:把榜單當程式碼審計
能怎麼做?
論文給出的方向是:把評測體系當成需要外部稽核的公共基礎設施。具體三條:
- 強制披露納入/排除理由。營運方拒絕某個基準,必須公開理由(計算成本、相關性、規模)。
- 設立獨立委員會。學術界+地區代表+民間團體,類似期刊編輯委員會。
- 建立版本控制和漂移偵測。基準上線後定期稽核,發現被「刷分刷穿」就啟動重新設計。
聽起來像論文八股,但本質上是在說:評測不是中立的工具,而是帶有價值觀的產品。它該被監管,而非被崇拜。
這對從業者意味著什麼?短期來看——繼續看 ChatBot Arena 上的 GPT-5 vs Claude vs Gemini 排名,這仍然是英文任務的最佳代理指標。長期來看——別把「全球榜單」當真理,它覆蓋的世界比你以為的小得多。
如果一個 AI 產品要進入印度市場,靠的不是 MMLU 分數,而是 IndicSUPERB 加上真實用戶回饋。榜單是行銷,評測是工程。