비영어 요청은 일반적으로 에너지를 더 많이 소비한다. 모델이 많은 언어를 지원한다고 해서 모든 언어에서 동일한 효율로 동작한다는 뜻은 아니다. 비용이 발생하는 지점을 살펴보고 실제 환경에 적용할 수 있는 모니터링 방법을 알아보자.
먼저 연구 결과를 확인하자
미시간대 News는 ‘Generative AI uses more energy on non-english text’라는 제목의 기사를 게재했다. 생성형 AI가 비영어 텍스트를 처리할 때 영어보다 일반적으로 더 많은 에너지를 소비한다는 내용이다.
기사 공개 당시 Hacker News 메인 페이지에 올라갔다. 데이터를 수집할 당시 표시된 수치는 15 points와 댓글 5개였다.
이는 비영어 요청이 반드시 사용할 수 있을 만큼 느리다는 뜻은 아니며, 모델이 중국어나 일본어, 스와힐리어 등을 지원하지 못한다는 뜻도 아니다. 정확한 해석은 이렇다. 동일한 모델이라도 언어에 따라 계산 효율이 달라질 수 있다.
많은 제품은 출시 페이지에서 ‘100개 이상의 언어 지원’이나 ‘교차 언어 추론 가능’을 강조한다. 이런 수치는 지원 범위를 보여주지만 비용 문제는 답하지 못한다.
- 백만 token당 얼마가 드는가?
- 한 번의 요청이 GPU를 얼마나 오래 점유하는가?
- 출력 품질이 같을 때 몇 개의 token을 생성해야 하는가?
- 같은 작업에 얼마나 많은 에너지가 소비되는가?
일반 사용자는 이 지표를 볼 수 없다. AI Agent를 배포하는 엔지니어링 팀은 이 수치를 통해 제품의 규모 확장 가능성을 판단해야 한다.
언어는 화면에 놓인 선택 메뉴가 아니다. 데이터 처리, tokenization, 추론, 생성에 모두 영향을 준다.
영어 학습 데이터가 만드는 숨은 세금
문제의 일부는 학습 데이터에서 비롯된다. 주류 모델의 학습 데이터는 영어 중심이다. 비영어 데이터가 모델에 들어갈 때 흔히 먼저 영어로 번역한 뒤 영어 입력처럼 처리한다.
사용자 입력: 비영어 텍스트
↓
기계 번역 계층: 비영어 → 영어
↓
대상 모델: 영어 입력으로 이해 및 추론 수행
↓
기계 번역 계층: 영어 → 비영어
↓
사용자가 최종 답변을 받음
즉, 모델은 한 번만 추론하는 것이 아니다. 번역 자체가 모델 계산 한 번이다. 입력 번역, 대상 모델 추론, 출력 번역이 여러 단계로 이어지며 실행 시간이 늘어날 수 있다.
token 수에도 영향을 준다. tokenizer가 처리하는 언어마다 유효 문자 비율이 다르기 때문이다. 같은 의미라도 중국어, 일본어, 영어에서 생성되는 token 수는 다를 수 있다. 문자 수가 비슷하다고 계산량도 같지는 않다.
중간 번역에서는 정보가 손실될 수도 있다. 구어, 속어, 코드 혼용, 부정 관계, 지역별 표현은 영어 말뭉치에서 상대적으로 드물게 등장한다. 영어로 먼저 번역한 뒤 처리하는 것은 모델에게 손실이 있는 압축을 한 번 거치는 것과 같다.
따라서 비영어 경로의 비용은 세 가지에서 발생할 수 있다.
- 번역으로 추가된 계산
- 번역 후 더 길거나 복잡해진 컨텍스트
- 번역 손실을 보완하기 위한 추가 생성, 검증, 재시도
‘특정 언어 지원’은 부가 기능이 아니다. 요청마다 부과되는 언어 세금에 더 가깝다.
다국어 벤치마크가 비용을 감출 수 있다
모델이 번역하고 답변할 수 있다는 사실이 모든 언어에서 효율이 같다는 의미는 아니다.
어떤 모델이 중국어 benchmark에서 높은 점수를 얻었다고 해도 특정 작업의 성능이 좋다는 사실만 알려줄 뿐이다. 중국어 prompt의 첫 token 지연 시간은 얼마인지, 백만 token당 추론 가격은 얼마인지, 같은 길이의 답변을 생성하는 데 GPU 시간이 얼마나 필요한지는 직접 알려주지 않는다.
이러한 차이는 자원이 부족한 언어를 다루는 제품에서 특히 중요하다.
예를 들어 네 가지 언어를 처리하는 교차 언어 고객 지원 Agent가 있다고 하자. 테스트에서는 각 언어에 대해 사람이 정리한 짧고 품질 좋은 텍스트를 사용했다. 하지만 실제 서비스에서는 이모티콘,的行业 약어, 주소, 방언이 포함된 긴 텍스트를 받는다. 테스트 결과를 운영 트래픽에 그대로 적용할 수는 없다.
엔지니어링 팀은 최소한 다음 항목을 언어별로 기록해야 한다.
| 지표 | 영어 | 비영어 |
|---|---|---|
| 입력 및 출력 token 수 | 언어별 집계 | 언어별 집계 |
| 첫 token 지연 시간 | P50, P95, P99 | P50, P95, P99 |
| 요청당 GPU 시간 | 실제 부하와 캐시 적중 구분 | 실제 부하와 캐시 적중 구분 |
| 백만 token당 비용 | 실제 과금 모델로 환산 | 실제 과금 모델로 환산 |
| 재시도율 | 번역, 도구 호출, 형식 오류 기록 | 언어별로 분리 |
| 에너지 또는 연산 강도 | 동일 하드웨어와 batch로 가능한 한 비교 | 동일 하드웨어와 batch로 가능한 한 비교 |
AI Agent에서는 문제가 더 복잡해진다. Agent는 ‘번역 → 계획 수립 → 도구 호출 → 답변 검증 → 원래 언어로 번역’ 과정을 거칠 수 있다. 어느 단계에서든 출력 token이 늘어나거나 실패 후 재시도가 발생하면 총비용에 그대로 쌓인다.
따라서 다국어 벤치마크의 범위는 ‘정답을 맞혔는가’뿐 아니라 ‘정답을 얻는 데 얼마나 많은 자원을 투입했는가’까지 확장해야 한다. 정확률은 품질 지표이고, 에너지 효율은 배포 지표다. 둘 다 필요하다.
실시간 번역은 비용을 계속 끌어올린다
실시간 번역과 교차 언어 고객 지원은 추가 계산을 더 자주 발생시킨다.
전통적인 번역 도구는 보통 문장을 한 번 변환하는 방식이다. 생성형 AI 시스템은 전체 컨텍스트를 대상으로 사용자 의도를 파악하고, 지식 베이스를 호출하고, 답변을 생성한 다음 사용자의 언어로 되돌릴 수 있다.
실시간 번역에 streaming 출력을 사용하면 대화가 한 차례 진행될 때마다 여러 모델을 반복해서 거칠 수 있다. 사람이 개입하기 전까지 해결되지 않은 문제가 Agent에서는 이미 여러 차례의 검색, 도구 호출, 자체 점검을 유발했을 수 있다.
자원이 부족한 언어의 사용량이 늘면 추가 연산은 AI의 에너지 발자국을 더 크게 키울 수 있다. 원인은 복잡하지 않다. 요청이 많아지고 번역 단계가 늘어나며 직렬 추론 체인이 길어진다. 규모가 커지면 원래 잘 드러나지 않던 언어별 차이도 amplified될 수 있다.
영어는 보통 시스템 내부의 ‘작업 언어’ 역할을 맡는다. 사용자는 중국어로 말하고, 검색 도구는 영어를 받아들이며, 데이터베이스는 영어 결과를 반환한 뒤 다시 중국어로 번역한다. 언어가 바뀔 때마다 지연 시간과 token이 늘어날 수 있다.
따라서 ‘모델이 더 많은 언어를 지원한다’는 사실만으로 지원 목록을 살펴봐서는 안 된다. 진짜 중요한 질문은 각 계층마다 번역하지 않고 대상 언어로 종단 간 작업을 완수할 수 있는지다.
엔지니어링으로 언어 세금 줄이기
첫째, 대상 언어의 원본 학습 데이터를 우선 활용해야 한다.
비즈니스에 중국어, 독일어, 아라비아어 로그가 대량으로 존재한다면 원문을 보존해 학습, fine-tuning, preference optimization에 활용해야 한다. 모두 영어로 번역할 필요는 없다. 원문 표현에 나타나는 문장 구조, 용어, 오류 패턴은 모델이 대상 시장에 적응하는 데 필요한 정보다.
둘째, ‘영어로 번역한 뒤 다시 번역하는’ 경로를 줄여야 한다.
종단 간 다국어 모델, 지역화 모델, 언어별 전용 모델로 라우팅하는 방식은 중간 번역을 줄일 수 있다. 다만 가치가 있는지는 모델 소개 페이지를 보는 것이 아니라 실제 요청으로 측정해야 한다.
셋째, 언어별로 GPU 시간과 에너지 소비량을 기록해야 한다.
가장 저렴하게 시작하는 방법은 각 호출에 language 필드를 추가하고, 모델, token 수, 지연 시간, GPU 시간, 재시도 횟수를 동일한 trace에 기록하는 것이다.
다음은 실행 가능한 Python 예시다. 물리적 에너지를 측정하지는 않지만, 언어별 비용 기준선을 먼저 마련할 수 있다.
import json
import time
from collections import defaultdict
records = []
def record_request(language, model, input_tokens, output_tokens, latency_ms):
records.append({
"language": language,
"model": model,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"latency_ms": latency_ms,
})
start = time.perf_counter()
# 用真实调用替换这里;示例数据用于验证统计逻辑。
for language in ["en", "zh", "ja"]:
record_request(
language=language,
model="your-model-name",
input_tokens=1200,
output_tokens=300,
latency_ms=850,
)
elapsed_ms = (time.perf_counter() - start) * 1000
summary = defaultdict(lambda: {"requests": 0, "tokens": 0, "latency_ms": 0})
for row in records:
item = summary[row["language"]]
item["requests"] += 1
item["tokens"] += row["input_tokens"] + row["output_tokens"]
item["latency_ms"] += row["latency_ms"]
print(json.dumps({
"elapsed_ms": round(elapsed_ms, 2),
"by_language": summary,
}, ensure_ascii=False, indent=2))
실제 추론 서비스에 연결한 뒤 GPU utilization, batch size, 모델 배포 정보를 추가한다. 에너지 소비량을 비교하려면 동일한 하드웨어와 batch 구성으로 고정 테스트 세트를 실행하고 NVIDIA DCGM이나 클라우드 제공업체의 에너지 모니터링 도구를 연결해야 한다.
넷째, 라우팅과 캐싱을 전략에 포함해야 한다.
- 영어 요청이 캐시 적중되었다고 해서 중국어 요청도 같은 캐시 prefix를 적중할 수 있는 것은 아니다.
- 언어마다 서로 다른 embedding이나 reranker가 필요할 수 있다.
- 모델 라우팅은 언어, 작업, 부하에 따라 나눌 수 있지만 모든 요청마다 번역 모델을 실행해서는 안 된다.
- 도구 결과 자체가 언어와 무관하다면 공통 구조를 유지하고, 최종 사용자 응답에서 필요한 변환만 수행한다.
마지막으로 예산표에는 ‘언어’를 별도 항목으로 포함해야 한다.
language_budget = {
"en": {"max_cost_per_request": 0.010, "max_p95_latency_ms": 1200},
"zh": {"max_cost_per_request": 0.016, "max_p95_latency_ms": 1600},
"de": {"max_cost_per_request": 0.014, "max_p95_latency_ms": 1500},
}
이 임계값은 범용 정답이 아니다. 실제 트래픽과 업무 요구사항을 바탕으로 역산해야 한다. 그래도 이 표를 만들면 팀은 비영어 요청을 영어 방식의 부가 진입점이 아니라 독립적인 부하로 다룰 수 있다.
원래 연구는 미시간대 News에서 확인할 수 있다: https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/.
편집자 생각
이 연구가 엔지니어링 팀에서 주목할 만한 이유는 다국어 지원이 제품 기능에서 인프라 필수 요건으로 바뀌고 있기 때문이다. 고객 지원, AI Agent, 음성 인터페이스, 지식 베이스는 모두 언어 전환을 처리해야 하지만, 예산표는 보통 ‘모델’과 ‘token’만으로 구성하며 언어별 효율을 구분하지 않는다.
제 판단은 조금 반직관적이다. 더 실용적인 다국어 모델은 지원 언어가 가장 많은 모델이 아니라 대상 언어에서 번역을 줄이고 추론 체인을 단축하는 모델일 가능성이 높다. 벤치마크에도 백만 token당 에너지 소비량, P95 지연 시간, 동일 품질에서 사용하는 token 수를 포함해야 한다.
이는 과거의 ‘파라미터가 클수록, 벤치마크 점수가 높을수록 우월하다’는 평가 방식과 다르다. 다국어 역량에서는 정답 여부뿐 아니라 계산 효율까지 비교해야 한다. 다만 현재 자료는 언어별 전체 격차를 제시하지 않으며, 동일한 하드웨어에서 측정한 에너지 곡선도 제공하지 않는다. 실제 개선 폭은 모델이 대상 언어 데이터로 학습됐는지, 시스템이 영어 중계를 반드시 거치는지에 따라 달라진다. 특정 언어에 고정된 비용标签을 붙이기보다 먼저 측정해야 한다.
출처
https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/