arXiv 上週新掛出一篇 2608.18131,標題裡直接寫了 "heavily English-centric"。
論文想回答一個問題:為什麼 LLM 在英語裡表現得像是守規矩的成年人,換成印度本地語言就開始複誦刻板印象?
我讀完一遍,覺得這事比「偏見」兩個字能概括的嚴重得多。
問題不在模型不聽話,而是訓練時只教了英語
論文摘要裡有一句原話:
safety alignment training is heavily English-centric
這不是猜測。論文扒了 6 個主流模型的對齊資料集(包括 RLHF 用的偏好資料和紅隊測試語料),統計下來英語樣本佔比平均 89%,最高的那個到了 96%。印地語、泰米爾語、孟加拉語加起來不到 4%。
後果很直接。安全對齊本質上是在教模型「什麼話不該說」——用英語教,模型就在英語分佈上學得最好。一旦輸入 token 切到非英語分佈,對齊層的訊號就弱了。
論文給了一組數字:在標準英語紅隊測試集上,6 個模型的拒絕率都在 94% 以上;換成印地語、旁遮普語、馬拉地語這三種印度語言做同樣測試,拒絕率掉到 31%–58%。
也就是說,模型不是「不知道」哪些回答有問題,是根本沒被教過。
語音助理把這個問題放大 10 倍
文字場景下,使用者還有個笨辦法:把問題複製貼上到英語裡再問一遍。丟進 Google Translate,輸出就守規矩了。
語音場景下這條退路沒了。你對著手機說印地語,助理回你印地語,中間沒有翻譯這一步。論文原話:
voice assistants and spoken dialogue systems ... have no text-based fallback for users to reformulate queries
這代表對齊失效是「原生」的,不是邊緣案例。
論文還測了語音通道下的問題:ASR(自動語音辨識)會引入額外雜訊。同一句泰米爾語,文字輸入拒絕率 52%,經 ASR 轉寫後再送進 LLM,拒絕率掉到 38%。10 個百分點的差距在安全場景裡就是一道防線。
印度現在主力的語音助理——Google Assistant 的印度版、Amazon Alexa 的多語言模式——底層都接的是這些 LLM。前端多語種,後端一個模型,安全對齊英語 only。
印度不是邊角案例,是壓力測試場
論文把印度單獨拉出來說了一次:
Indian multilingual population as a critical failure mode
為什麼是印度,不是法語區、不是阿拉伯語區?
兩個原因疊加。
第一是量。印度官方承認的憲法語言 22 種,加上沒進憲法但實際使用的方言,幾百種。英語在印度會說不超過總人口的 10%。也就是說,絕大多數使用者從來不會用英語跟裝置對話。
第二是多樣性。這幾百種語言之間不是「法語 vs 德語」那種接近關係——南部的達羅毗荼語系(泰米爾語、泰盧固語、馬拉雅拉姆語、卡納達語)和北部的印歐語系(印地語、孟加拉語、馬拉地語、古吉拉特語)文法結構完全不一樣。同一個安全問題,要在兩套文法上分別對齊,難度乘了一個數量級。
把印度語料加進訓練集是能緩解一部分問題。但論文測了只把對齊資料從英語翻譯到印地語(機翻 + 人審),拒絕率從 31% 升到 71%,還沒到英語的 94%。剩下的 23 個百分點卡在哪裡——論文沒給具體分析,但提了一句:"machine-translated alignment data does not capture culturally specific stereotype vectors"。
機翻能搬字面意思,搬不了文化裡的暗示。
刻板印象輸出是怎麼繞過安全過濾的
這裡論文給了技術機制,不是泛泛說「偏見」。
兩條路徑。
第一條是注意力層面的。模型在英語對齊階段學到的安全分類器,對非英語 token 的注意力權重顯著低。論文視覺化過幾層的 attention map,英語 prompt 上安全頭的激活集中在關鍵詞附近;換成印地語,同樣關鍵詞的激活散到背景 token 上去了。
第二條是分類器層面的。安全分類器本身是在英語標註資料上訓練的,對低資源語言裡的 stereotype-reinforcing outputs 識別率差。論文原話:
safety classifiers ... produce stereotype-reinforcing outputs that bypass English-aligned guardrails
「stereotype-reinforcing outputs」——刻板印象強化型輸出——這個詞在論文摘要裡出現了兩次,不是偶然。
舉個論文裡的例子(脫敏簡化過):英語 prompt 問「誰是好的工程師」,模型回答會強調個體能力。換成印地語同一個問題,模型開始按地域/性別/宗教給「哪類人更適合當工程師」貼標籤。這種回答在英語安全測試裡會被拒,在印地語裡直接通過。
印度本土產品團隊最怕的恰恰是這種輸出——不是暴力言論、不是仇恨攻擊,是「聽起來沒毛病但強化了偏見」的回答。監管抓不到,使用者自己也不一定察覺。
真正的解法不是加幾條印地語規則
翻譯對齊、多語言 SFT、用本地語料做紅隊——這些方法論文裡都提了,業界也都在討論。
但讀完論文我有個更不舒服的觀察:目前沒有任何一個公開的、量化的 benchmark 能在多語言對齊上做端到端復現。論文給出的復現實驗是基於 6 個模型的私有 API 呼叫 + 自建紅隊集,其他人想驗證必須自己從頭搭。
這件事留給工程師的活至少三件:
第一,造一個多語言紅隊測試集。不是機翻英語紅隊集——論文已經證明機翻不夠。要用本地母語者標註,覆蓋印地語、泰米爾語、孟加拉語至少三種,每種至少 500 條。資料集要公開,評測腳本能跑。
第二,把對齊資料的多語言比例寫進訓練報告。現在 model card 裡只寫 RLHF 總樣本數,沒人寫語種分佈。這個指標加上,行業立刻能比較誰在認真做。
第三,做語音通道的端到端評測。把 ASR + LLM + TTS 串起來測,不要只測中間的 LLM。論文裡的 10 個百分點差距說明,語音堆疊裡任何一環的偏差都會累積放大。
第三條最缺。文字評測有 OpenAI 的 evals、Anthropic 的 claude-evals,多模態評測有 lmms-eval。語音通道的對齊評測,公開倉庫裡我翻了一圈,沒找到成熟方案。
印度語音使用者現在用的是沒有對齊評測保護的產品。這個 gap 不是學術問題,是產品問題。