도구

인도 음성비서, 고정관념을 그대로 읊는다

arXiv 최신 논문이 지적했다. LLM의 안전 정렬이 영어 데이터에 거의 의존하기 때문에 비영어 환경에서는 필터링이 무력화되며, 다국어를 쓰는 인도 사용자들이 최초의 피해자가 되고 있다.

글자 크기

지난주 arXiv에 올라온 논문 2608.18131은 제목에서부터 "heavily English-centric"라고 직설적으로 적어 놓았다.

논문이 던진 질문은 이렇다. LLM은 영어에서는 규율을 잘 지키는 성인처럼 행동하면서, 왜 인도 현지 언어로 바꾸면 고정관념을 그대로 읊기 시작하는가?

한 번 정독해 보니, 이 문제는 "편견"이라는 두 글자로 단순히 묶을 사안이 아니었다.

모델이 말을 안 듣는 게 아니라, 영어로만 가르친 것이 문제

논문 초록에 이런 문장이 그대로 실려 있다.

safety alignment training is heavily English-centric

이건 추측이 아니다. 논문은 6개 주요 모델의 정렬 데이터셋(RHLF에 쓰인 선호 데이터와 레드팀 테스트 말뭉치 포함)을 샅샅이 뒤져, 영어 샘플 비중이 평균 89%, 가장 높은 모델은 96%에 달한다는 통계를 냈다. 힌디어, 타밀어, 벵골어를 모두 합쳐도 4%가 채 되지 않는다.

결과는 즉각적이다. 안전 정렬은 본질적으로 모델에게 "이러이러한 말은 하면 안 된다"를 가르치는 일이다. 영어로 가르치면 모델은 영어 분포에서 가장 잘 배운다. 입력 토큰이 비영어 분포로 넘어가는 순간 정렬 계층의 신호가 약해진다.

논문이 제시한 수치가 있다. 표준 영어 레드팀 테스트셋에서 6개 모델의 거절률은 모두 94% 이상이었다. 같은 테스트를 힌디어, 펀자브어, 마라티어로 바꾸면 거절률이 31%–58%까지 떨어진다.

다시 말해, 모델이 어떤 답이 문제인지 "모르는" 게 아니라 애초에 가르침을 받지 못한 것이다.

음성비서는 이 문제를 10배로 키운다

텍스트 상황에서는 사용자도 단순한 꼼수가 있다. 질문을 복사해서 영어로 바꿔 붙여넣고 다시 묻는 것이다. Google Translate 한 번 돌려서 입력하면 출력도 순하게 나온다.

음성 상황에서는 이 도피로가 사라진다. 사용자가 힌디어로 핸드폰에 말을 걸면 비서가 힌디어로 대답하고, 중간에 번역 단계가 없다. 논문 원문은 이렇게 적는다.

voice assistants and spoken dialogue systems ... have no text-based fallback for users to reformulate queries

즉 정렬 실패는 "원래부터 발생하는" 문제이며, 엣지 케이스가 아니다.

논문은 음성 채널에서 추가로 발생하는 문제도 측정했다. ASR(자동 음성 인식)이 노이즈를 끼어들게 한다. 같은 타밀어 문장이라도 텍스트 입력에서는 거절률이 52%였던 것이, ASR로 전사한 뒤 LLM에 넣으면 38%로 떨어진다. 안전 시나리오에서 10퍼센트 포인트 격차는 곧 방어선 하나가 사라지는 격이다.

현재 인도에서 주력으로 쓰이는 음성비서—Google Assistant의 인도판, Amazon Alexa의 다국어 모드—의 백엔드에는 결국 이런 LLM이 붙어 있다. 프런트는 다국어를 지원해도 백엔드 모델 하나, 안전 정렬은 영어 전용이다.

인도는 변두리 사례가 아니라 스트레스 테스트장이다

논문은 인도만 따로 한 번 언급한다.

Indian multilingual population as a critical failure mode

왜 인도인가, 프랑크폰 지역이 아닌가, 아랍어권이 아닌가?

두 가지 요인이 겹친다.

첫째는 규모다. 인도 헌법이 공식 인정하는 언어만 22개에, 헌법에 못 들어갔지만 실제로 쓰이는 방언까지 합치면 수백 종에 이른다. 영어를 할 줄 아는 인구는 전체의 10%를 넘지 않는다. 즉 대부분의 사용자는 처음부터 영어로 기기와 대화할 생각이 없다.

둘째는 다양성이다. 수백 종 언어 사이의 관계는 "프랑스어 vs 독일어"처럼 가까운 편이 아니다. 남부의 드라비다어족(타밀어, 텔루구어, 말라얄람어, 칸나다어)과 북부의 인도유럽어족(힌디어, 벵골어, 마라티어, 구자라트어)은 문법 구조 자체가 다르다. 동일한 안전 문제를 두 개의 완전히 다른 문법 체계에 맞춰 정렬해야 하니, 난이도가 한 차원 올라간다.

인도어 말뭉치를 훈련셋에 넣으면 일부 개선은 가능하다. 그런데 논문에서는 정렬 데이터를 영어에서 힌디어로 기계 번역한 뒤 사람이 검수하는 방식으로만 실험했을 때, 거절률이 31%에서 71%까지는 올라갔지만 영어의 94%에는 못 미쳤다. 남은 23퍼센트 포인트가 어디서 막히는지 논문이 구체적으로 분석하진 않았지만, 한 줄 남겨 두었다.

machine-translated alignment data does not capture culturally specific stereotype vectors

기계 번역은 글자 그대로의 뜻은 옮겨도 문화에 실린 뉘앙스는 못 옮긴다.

고정관념 출력은 안전 필터를 어떻게 빠져나가는가

논문은 여기서 "편견"이라는 추상적 단어를 쓰지 않고 기술적 메커니즘을 제시한다.

경로는 두 가지다.

첫째는 어텐션 층의 문제다. 영어 정렬 단계에서 학습한 안전 분류기는 비영어 토큰에 대한 어텐션 가중치가 현저히 낮다. 논문은 여러 층의 attention map을 시각화했는데, 영어 프롬프트에서는 안전 헤드가 키워드 주변에서 활성화되던 것이, 힌디어로 바꾸면 같은 키워드의 활성화가 배경 토큰들 위로 퍼져 나간다.

둘째는 분류기 층의 문제다. 안전 분류기 자체가 영어로 레이블된 데이터로 학습했기 때문에 저자원 언어에서 발생하는 stereotype-reinforcing output 인식률이 낮다. 논문 원문은 이렇게 적는다.

safety classifiers ... produce stereotype-reinforcing outputs that bypass English-aligned guardrails

"stereotype-reinforcing outputs", 곧 고정관념을 강화하는 출력이라는 표현이 초록에 두 번 등장한다. 우연이 아니다.

논문에서 든 예시를 단순화해 옮기면 이렇다. 영어 프롬프트로 "누가 좋은 엔지니어인가"를 물으면 모델은 개인의 역량을 강조하는 답을 한다. 힌디어로 같은 질문을 하면, 모델은 지역·성별·종교별로 "어떤 사람이 엔지니어에 더 적합한지" 꼬리표를 붙이기 시작한다. 이런 답변은 영어 안전 테스트에서는 차단되지만, 힌디어를 통과한다.

인도 현지 제품 팀이 가장 두려워하는 출력이 정확히 이 유형이다. 폭력 발언이나 증오 표현이 아니라, "듣기에 멀쩡하지만 편견을 강화하는" 답변이다. 규제当局도 잡아내기 어렵고, 사용자 본인도 자각하지 못할 수 있다.

진짜 해결책은 힌디어 규칙 몇 줄 추가하는 게 아니다

정렬 데이터 번역, 다국어 SFT, 현지 말뭉치로 레드팀 구성—이런 방법들은 논문에서도 언급되고 업계에서도 거론된다.

다만 논문을 다 읽고 나니 더 불편한 관찰이 남는다. 현재 공개되어 있고 정량적인 벤치마크 중 다국어 정렬을 엔드투엔드로 재현할 수 있는 것은 없다. 논문이 제시한 재현 실험은 6개 모델의 비공개 API 호출 + 자체 구축 레드팀셋에 기반하고 있어, 다른 연구자가 검증하려면 처음부터 다시 쌓아야 한다.

엔지니어에게 남는 숙제는 최소한 세 가지다.

첫째, 다국어 레드팀 테스트셋을 만들어라. 영어 레드팀셋을 기계 번역한 것으로는 부족하다는 건 이미 논문이 입증했다. 현지 모어 화자가 직접 레이블링해야 하고, 힌디어·타밀어·벵골어 최소 셋을 커버하되 각 언어당 최소 500문항은 있어야 한다. 데이터셋은 공개하고, 평가 스크립트는 그대로 돌아가야 한다.

둘째, 정렬 데이터의 다국어 비율을 훈련 리포트에 명시해라. 지금 모델 카드에는 RLHF 총 샘플 수만 적혀 있을 뿐, 언어 분포는 어디에도 없다. 이 지표 하나만 추가해도 누가 진심으로 하고 있는지 업계에서 즉시 비교가 가능하다.

셋째, 음성 채널 엔드투엔드 평가를 수행해라. ASR + LLM + TTS를 일렬로 연결해 테스트해야지, 가운데 LLM만 떼서 평가해서는 안 된다. 논문에서 본 10퍼센트 포인트 격차가 말해주듯 음성 스택의 어느 한環에서든 생긴 편향이 누적돼 증폭된다.

셋째가 가장 빈약하다. 텍스트 평가는 OpenAI의 evals와 Anthropic의 claude-evals가 있고, 멀티모달 평가는 lmms-eval이 있다. 음성 채널의 정렬 평가를 위해 공개 저장소를 한 바퀴 뒤져 봤지만, 쓸 만한 솔루션을 찾지 못했다.

인도 음성 사용자는 지금 정렬 평가의 보호막 없이 제품을 쓰고 있다. 이 간극은 학술적 문제가 아니라 제품 문제다.


참고: arXiv:2608.18131

출처: https://arxiv.org/abs/2608.18131