arXiv に掲載されたばかりの論文(番号 2608.18117)は、かなり手厳しい指摘をしている。インドには質の高い言語ベンチマークがそろっている。足りないのは「席」だと。IndicSUPERB、MILU、LAHAJA といったデータセットは学術的に十分な評価を得ているが、ChatBot Arena や Open LLM Leaderboard といった世界的なランキングには一向に採用されない。
論文の原文にはこうある。"The barrier is institutional design... no governance mechanism compels them to do so."──障害となっているのはデータではなく制度設計であり、ランキング側にそれを強制するガバナンスの仕組みが一切存在しない、という意味だ。
つまり「データがない」という言い分は偽りの命题。ほんとうの問題は、あるベンチマークを「グローバル」と呼ぶ基準を誰が決めるのか、そしてその仕組みが南の国々に開放されていないという一点に尽きる。
データ不足ではなく「席」がない
まず前提を明確にしておきたい。これは「無視されている」と嘆くインドのチームによる単なる不満ではない。三つのベンチマークはすべて査読付きの正式論文として公開され、維持管理の体制も整っている。
- IndicSUPERB:インドの22の公用語をカバーし、ASR、音声翻訳、言語識別などのタスクを含む。
- MILU:インドの複数言語を対象とした理解力評価。自然言語推論や読解を含む。
- LAHAJA:低リソース環境に特化した音声-言語ベンチマークで、現実の利用シナリオを重視する。
この三つを合わせると、インド地域向けの評価インフラとしてある程度のかたちになる。論文ではこれを「India-specific benchmarks」と呼び、同じ例として IrokoBench(アフリカ)と AlGhafa(アラビア語)を挙げている。
ところが世界ランキングは、これらを決して収録しない。「なぜわざわざ論文一本書いてこの問題を取り上げるのか」というと、AI評価業界がずっと使ってきた言い訳を突いているからだ。「アフリカや南アジアのモデルがランキングで振るわないのは、データが足りないからだ」。──違う、データはある。制度の側が門を閉ざしているだけだ。
無視されている三つの名前
三つのデータセットの位置づけをかんたんに見ておく。いずれも端役にすぎないわけではないことが伝わるはずだ。
IndicSUPERB
インド版の SuperB と呼ばれる多言語音声ベンチマーク。ヒンディー語、タミル語、ベンガル語など22言語をカバーし、ASR、音声翻訳、言語識別、話者照合の各タスクを含む。IIIT Hyderabad などの機関で運用され、複数のトップ会議論文に引用されている。
MILU
正式名称は Multi-task Indic Language Understanding。インドの複数言語を対象としたタスク型の理解力ベンチマークで、インド版 MMLU に相当する。テキスト分類、QA、自然言語推論を網羅する。
LAHAJA
Low-resource Audio-language Holistic Assessment of Joint Abilities の略で、低リソース環境に焦点を当てる。最大の特徴は「リアルな環境」──騒音、口 accents、コードミキシング── を重視している点にある。ふつうのインドユーザーが日々直面している音声入力の条件を反映している。
三つを合わせると、インド地域向けの評価体系として論文が主張するだけの地力がそろう。それでも世界ランキングは採用しない。
ランキングのガバナンス、三点とも欠けている
論文が指摘する制度的欠陥は三つある。どれも、データセットを一つ追加するよりはずっと根深い。
1. 独立したガバナンス
いま最も勢いのある汎用ベンチマークは ChatBot Arena で、LMSYS が運営元だ。カリフォルニア大学バークレー校、スタンフォード大学、テキサス大学オースティン校の研究者が中心になっている。Hugging Face の Open LLM Leaderboard はコミュニティ主導。OpenAI、Google、Anthropic の社内評価はそもそも非公開だ。
問題はどこか。ランキングの「どのベンチマークを取り込むか」という決定は、運営側が一方的に行っている。外部委員会もなければ、強制的なコンサルテーションも、公開のプロセスの公募もない。
論文が提案しているのは、「ベンチマーク取り込み委員会」の独立設置だ。学術界、地域代表、市民団体を委員とし、IEEE 標準化委員会のような構造を想定している。
2. 利益相反ポリシー
LMSYS はクラウドベンダーからの出資を受けている。Hugging Face は複数のモデル企業から資金援助を得ている。OpenAI は自社で評価を運営するため、自社のモデルが常に上位に来る。
世界的なランキングで、公開されている conflict-of-interest policy を持っているところは一つもない。資金の出どころを開示する義務もなければ、忌避条項もなければ、第三者監査もない。
だからこそ、インドのベンチマークが「選択的に無視」されると怪しく映る。陰謀ではなく、制度の空白だ。運営側は、いかなる理由(作業量、計算資源、商業的関係)を持ち出してもベンチマークを拒否できる。しかも説明責任を伴わない。
3. 指標の進化メカニズム
一度ランキングに載ったベンチマークは、対策が進んで効果が薄れる。MMLU はすでにその状態になり、HumanEval は GPT-4 シリーズでほぼ満点に張り付いている。
それでも世界ランキングには、正式なベンチマークの退役/更新プロセスがほぼ整っていない。指標の進化は手作業、人手頼み、遅い。論文は、評価体系にバージョン管理、自動ドリフト検知、定期的な再設計を導入すべきだと主張する。
この三つ──独立ガバナンス、利益相反ポリシー、指標の進化──はいずれも技術的な問題ではない。ガバナンスの問題だ。
商業的圧力では半分しか直らない
この部分で論文は少し譲歩している。商業的な競争は、優れたモデルを自然に押し上げる。それが市場のやれることだ。
Aravind Srinivas は ChatBot Arena には出ないが、Perplexity はインド市場を失いたくないのでインド語のケースを自主的に走らせる。OpenAI は IndicSUPERB を積極的にテストしないが、Google は Gemini のインドでのシェア獲得に向けて多言語指標を最適化する。
しかし「ランキングに載るか載らないか」は、市場では解決できない。
スコアが良くてもランキングに載らないモデルは、学術引用や政策レポート、企業の調達リストから「存在しない」扱いを受ける。こうしたシグナルの欠落は制度の問題であり、技術の問題ではない。商業的圧力は「性能差」を埋められても、「認知の可視性」は埋められない。
したがって、わたしの見立てはこうだ。技術的な問題は市場化できるが、ガバナンスの問題は市場化できない。前者は競争が、後者はルールが解決する。
アフリカとアラビアでも同じことが起きている
インドは特別なケースではない。論文は IrokoBench(アフリカ)と AlGhafa(アラビア語)を同類の事例として並べている。
- IrokoBench:ヨルバ語、ハウサ語、スワヒリ語など、約20のアフリカ言語をカバーする低リソース言語ベンチマーク。
- AlGhafa:現代標準アラビア語と方言のバリエーションを対象としたアラビア語 NLP ベンチマーク。
どちらのデータセットも正式公開され、学術的な評価を得ている。世界ランキングは同様に採用しない。
これは「インドが差別されている」という話ではない。体系的な地理的バイアスだ。
あるランキングが「GPT-5 は Claude より英語で3ポイント良い」としか言えないなら、それは本質的に単一言語・単一文化・単一市場の評価視点を最適化しているだけだ。残りの世界──人口で言えば英語ネイティブ話者をはるかに凌駕する──はデフォルトで「ロングテール」に分類される。
データセットの分布が偏っていること自体は問題ではない。ランキングの「グローバル」というラベルが嘘なこと、それが問題だ。
次のステップ:ランキングをコード監査のように扱う
ではどうするか。
論文が示しているのは、評価体系を外部監査が必要な公共インフラとみなす方向性だ。具体的に三つ。
- 取り込み/除外理由の強制開示。運営側がベンチマークを拒否する場合、理由(計算コスト、関連性、規模)を公開しなければならない。
- 独立委員会の設置。学術界、地域代表、市民団体が参加し、雑誌の編集委員会のような構成を取る。
- バージョン管理とドリフト検知の確立。ベンチマークが稼働したあとも定期的に監査し、「対策で食い潰されている」兆候が出たら再設計に入る。
論文の常とう語のように聞こえるかもしれないが、本質的に言っているのはこういうことだ。評価は中立な道具ではなく、価値観を内包した製品である。だから崇拝されるべきではなく、規制されるべきだ。
これが実務者にとって何を意味するか。短期的に見れば、ChatBot Arena での GPT-5 vs Claude vs Gemini の順位は今なお英語タスクの最良の代理指標であり続ける。長期的に見れば、「世界ランキング」を真理扱いしてはいけない。カバーしている世界は思っているよりずっと狭い。
AI プロダクトをインド市場に投入したいなら、MMLU のスコアではなく IndicSUPERB と本物のユーザーフィードバックで判断すべきだ。ランキングはマーケティング、評価はエンジニアリング。