arXivに先週公開された2608.18131は、タイトルで堂々と "heavily English-centric" と断じている。
論文が取り組んだ問いはこうだ。LLMは英語では品行方正な大人なのに、インドの現地語に切り替えると途端にステレオタイプを復唱し始めるのはなぜか。
通読して思うに、この問題は「バイアス」という言葉では到底まとめきれない。
問題はモデルの不従順ではなく、学習が英語しか教えていないこと
論文の要旨にはこうある。
safety alignment training is heavily English-centric
これは推測ではない。論文では主要6モデルのアラインメントデータセット(RLHFの選好データやレッドチームのコーパスを含む)を調査し、英語サンプルの平均割合が89%、最も高いものでは96%に達していた。ヒンディー語、タミル語、ベンガル語を合わせても4%に満たない。
帰結は直接的だ。安全性アラインメントとは本来「言ってはいけないこと」をモデルに教える作業だが、英語で教えればモデルは英語の分布上でもっともよく学ぶ。入力トークンが英語以外の分布に移ると、アラインメント層のシグナルが弱まる。
論文には数字が並ぶ。英語の標準的なレッドチームテストでは、6モデルとも拒否率が94%以上。これに対し、ヒンディー語、パンジャブ語、マラーティー語で同じテストを行うと、拒否率は31%から58%に落ちる。
つまりモデルは「何が問題かを知らない」のではなく、そもそも「教わっていない」のだ。
音声アシスタントはこの問題を10倍に拡大する
テキスト環境なら、ユーザーにも力技の逃げ道がある。質問をコピーして英語に直し、貼り付けて再質問すればいい。Google翻訳を通せば、回答は品行方正になる。
音声環境ではこの逃げ道が消える。ヒンディー語でスマホに話しかければ、応答もヒンディー語で返ってくる。翻訳を経由する余地がない。論文の言葉を借りればこうだ。
voice assistants and spoken dialogue systems ... have no text-based fallback for users to reformulate queries
アラインメントの崩壊は「ネイティブに」起きるのであって、エッジケースではない。
論文は音声経路固有の問題も検証している。ASR(自動音声認識)は追加のノイズを混入させる。同じタミル語の発話でも、テキスト入力なら拒否率52%、ASRで文字起こししてからLLMに渡すと拒否率は38%に下がる。セキュリティ文脈で10ポイントの乖差は、防衛線の一段が抜けるのと同義だ。
いまインドで主流の音声アシスタント――Google Assistantのインド版、Amazon Alexaの多言語モード――はいずれも内部でこれらのLLMに接続している。フロントエンドは多言語、バックエンドは一つのモデル、アラインメントは英語のみ。
インドは周辺事例ではなく、圧力試験場である
論文はインドを単独で名指ししている。
Indian multilingual population as a critical failure mode
なぜフランス語圏でもアラビア語圏でもなく、インドなのか。
理由は二つ、折り重なっている。
第一は規模だ。インドの憲法で公認されている言語は22種、憲法外の实际方言を含めると数百種に及ぶ。英語を話せる人口は全体の10%に満たない。つまり大多数のユーザーは英語では端末と会話しない。
第二は多様性だ。この数百の言語はフランス語とドイツ語のような近縁関係にない。南部のドラヴィダ語族(タミル語、テルグ語、マラヤーラム語、カンナダ語)と、北部のインド・ヨーロッパ語族(ヒンディー語、ベンガル語、マラーティー語、グジャラート語)では文法構造がまったく異なる。同じ安全課題に対して二つの異なる文法でアラインメントを取る必要があり、難易度は桁違いだ。
ヒンディー語などのコーパスを訓練に追加すれば一部は緩和できる。しかし論文の実験では、アラインメントデータを英語からヒンディー語に翻訳(機械翻訳+人手修正)しただけでは、拒否率は31%から71%に上がったにすぎない。英語の94%には届かない。残る23ポイントの差がどこで詰まっているか、論文は具体的な分析を示していない。ただしこう記している。
machine-translated alignment data does not capture culturally specific stereotype vectors
機械翻訳は字面は運んでも、文化に埋め込まれた含意までは運べない。
ステレオタイプ出力はなぜ安全フィルタをすり抜けるのか
ここは「バイアスがある」という一般論ではなく、技術的なメカニズムが語られている。
二つの経路がある。
一つ目はアテンションレベルだ。英語のアラインメント段階で学習された安全分類器は、非英語トークンに対するアテンション重みが著しく低い。論文では複数層のアテンションマップを可視化しており、英語プロンプトでは安全ヘッドがキーワード付近に集中して活性化するのに対し、ヒンディー語では同じキーワードの活性化が周辺の背景トークンに散逸する。
二つ目は分類器レベルだ。安全分類器自体が英語のラベル付きデータで訓練されているため、低リソース言語におけるステレオタイプ強化型出力の識別精度が落ちる。論文の表現を借りればこうなる。
safety classifiers ... produce stereotype-reinforcing outputs that bypass English-aligned guardrails
「stereotype-reinforcing outputs」――ステレオタイプ強化型出力――という語は要旨に二度現れる。偶然ではない。
論文中の例を一つ、匿名化した形で挙げる。英語のプロンプトで「誰が優れたエンジニアか」を問えば、モデルは個人の能力を強調する。ヒンディー語で同じ質問をすると、モデルは出身地・性別・宗教ごとに「どのタイプの人がエンジニアに向くか」というラベル貼りを始める。英語の安全テストなら拒否される応答が、ヒンディー語だと素通りする。
現地のプロダクトチームが最も恐れるのはまさにこの種の出力だ。暴力発言でもヘイトでもない。「一見問題なく聞こえるが、偏見を強化する」回答。規制は捕捉できず、ユーザー自身も気づきにくい。
本当の解はヒンディー語のルールを何本か追加することではない
アラインメントデータの翻訳、多言語SFT、現地語コーパスでのレッドチーム化――いずれも論文で言及され、业界でも議論されている。
ただし通読して、より居心地の悪い気づきがある。現時点で、多言語アラインメントをエンドツーエンドで再現できる公開・定量的なベンチマークは存在しない。論文が示す再現実験は、6モデルのプライベートAPI呼び出しと独自レッドチームセットに基づくもので、検証したい者は皆ゼロから構築し直す羽目になる。
エンジニアに課された仕事は少なくとも三つある。
第一に、多言語レッドチームテストセットを構築すること。英語のレッドチームセットを機械翻訳しただけでは不十分だと論文はすでに証明している。現地母語話者によるラベリングが必要で、ヒンディー語、タミル語、ベンガル語の最低3言語をカバーし、言語ごとに最低500件。データセットは公開し、評価スクリプトは実行可能な形で残す。
第二に、アラインメントデータの言語比率を学習レポートに明記すること。現状のモデルカードにはRLHFの総サンプル数しか書かれず、言語内訳は誰も書いていない。この指標を入れれば、誰が本気で取り組んでいるかが一目で比較できる。
第三に、音声経路のエンドツーエンド評価を行うこと。ASR + LLM + TTSをつなげて評価し、中央のLLMだけを測って済ませない。論文の10ポイント差は、音声スタックのいずれかの段の偏りが蓄積・増幅されることを示している。
三番目が最も欠けている。テキスト評価にはOpenAIのevalsやAnthropicのclaude-evalsがあり、マルチモーダル評価にはlmms-evalがある。音声経路のアラインメント評価について、公開リポジトリをひと通り探したが、成熟した解は見つからなかった。
インドの音声ユーザーはいま、アラインメント評価で保護されないプロダクトを使っている。このギャップは学術的問題ではなく、プロダクトの問題だ。