非英语请求通常更耗能。模型支持更多语言,不等于每种语言都更高效。本文拆解成本来源,并给出可落地的监控方法。
先看研究结论
密歇根大学 News 发布的文章名为“Generative AI uses more energy on non-english text”。文章称,生成式 AI 处理非英语文本时,通常比处理英语消耗更多能源。
文章发布后登上 Hacker News 首页。抓取时显示 15 points、5 条评论。
这不等于非英语请求一定慢到无法使用,也不等于模型不支持中文、日文或斯瓦希里语。更准确的说法是:同一种模型,在不同语言上的计算效率可能不同。
很多产品发布页强调“支持 100+ 种语言”“可进行跨语言推理”。这些数字能说明能力覆盖范围,但不能回答成本问题:
- 每百万 token 多少钱?
- 一段请求占用 GPU 多久?
- 输出质量相同时,需要生成多少 token?
- 同一任务消耗多少能源?
普通用户看不到这些指标。负责部署 AI Agent 的工程团队却要用它们判断产品能否规模化。
语言不是界面上的一个下拉框。它会影响数据处理、tokenization、推理和生成。
英语数据带来的隐藏税
问题的一部分来自训练语料。主流模型的训练数据以英语为主。非英语数据进入模型前,常见做法是先翻译成英语,再作为英语输入处理。
用户输入:非英语文本
↓
机器翻译层:非英语 → 英语
↓
目标模型:按英语输入完成理解与推理
↓
机器翻译层:英语 → 非英语
↓
用户收到最终回答
这意味着模型并非只做一次推理。翻译本身就是一次模型计算。输入翻译、目标模型推理和输出翻译,也可能对应多个串行步骤。
它还会影响 token 数。tokenizer 对不同语言的有效字符率不同。同一个意思,中文、日文和英语可能产生不同数量的 token。字符数量相近,不代表计算量相同。
中间翻译也可能带来信息损失。口语、俚语、代码混写、否定关系和地区表达,在英语语料中可能更少见。先翻成英语再处理,相当于让模型经过一次有损压缩。
所以,非英语路径的成本可能来自三处:
- 多出的翻译计算;
- 翻译后更长或更复杂的上下文;
- 为弥补翻译损失而进行的额外生成、校验或重试。
这不是“支持某种语言”的附加功能。它更接近一笔按请求计算的语言税。
多语言榜单可能掩盖成本
模型能翻译、能回答,不代表各语言共享同等效率。
一个模型在中文 benchmark 上拿到高分,只能说明它在某个任务上的结果较好。它没有直接告诉我们:中文 prompt 的首 token 延迟是多少?每百万 token 的推理价格是多少?相同答案长度需要消耗多少 GPU 时间?
这些差异对低资源语言产品尤其重要。
假设一个跨语言客服 Agent 需要处理四种语言。测试时,每种语言都使用人工整理的高质量短文本。上线后,系统却要接收包含表情、行业缩写、地址和方言的长文本。测试结果不能直接外推到生产负载。
工程团队至少应该分别记录:
| 指标 | 英语 | 非英语 |
|---|---|---|
| 输入与输出 token 数 | 按语言统计 | 按语言统计 |
| 首 token 延迟 | P50、P95、P99 | P50、P95、P99 |
| 单次请求 GPU 时间 | 区分真实负载与缓存命中 | 区分真实负载与缓存命中 |
| 每百万 token 成本 | 换算到实际计费模型 | 换算到实际计费模型 |
| 重试率 | 记录翻译、工具调用和格式错误 | 按语言拆分 |
| 能源或算力强度 | 尽量使用同一硬件和 batch 对比 | 尽量使用同一硬件和 batch 对比 |
对于 AI Agent,情况更复杂。Agent 可能经历“翻译 → 规划 → 调用工具 → 校验答案 → 翻译回原语言”。任何一步增加输出 token,或触发一次失败重试,都会叠到总成本上。
因此,多语言榜单应该从“答对没有”扩展到“花了多少资源答对”。准确率是质量维度,能效才是部署维度。两者缺一不可。
实时翻译让账单继续上升
实时翻译和跨语言客服,会让额外计算变得更频繁。
传统翻译工具通常以一次性的句子转换为主。生成式 AI 系统则可能对整段上下文持续推理:理解用户意图,调用知识库,生成答案,再把答案转回用户语言。
如果实时翻译使用流式输出,每一轮对话都可能重复经过多个模型。一次人工升级前的“未解决问题”,在 Agent 中可能已经触发多次检索、工具调用和自检。
低资源语言的使用量增加后,这部分额外计算还可能继续扩大 AI 的能源足迹。原因不玄学:请求更多,翻译步骤更多,串行推理链更长。规模会放大原本不明显的语言差异。
英语通常承担系统内部的“工作语言”。用户说中文,检索工具接英文,数据库返回英文,最后再翻回中文。每次跨语言切换,都可能增加延迟和 token。
这也是为什么“模型支持更多语言”不能只看支持清单。真正值得问的是:系统能否直接在目标语言里完成端到端任务,而不是每经过一层都翻译一次。
工程上怎么少交这笔税
第一步,是优先使用目标语言的原生训练数据。
如果业务有大量中文、德语或阿拉伯语日志,就应保留原始文本做训练、微调或偏好优化。不要急着全部翻译成英语。原始表达中的句式、术语和错误模式,正是模型适应目标市场需要的信息。
第二步,缩短“先翻英语再翻译”的链路。
端到端多语言模型、区域化模型,或者按语言路由到专门模型,都可能减少中间翻译。但是否值得,要用真实请求测量,而不是只看模型宣传页。
第三步,按语言记录 GPU 时间和能耗。
最低成本的实现方式是给每次调用加上 language 字段,并把模型、token 数、延迟、GPU 时间和重试次数写入同一条 trace。
下面是一段可以运行的 Python 示例。它不会测量物理能耗,但能先建立语言级成本基线:
import json
import time
from collections import defaultdict
records = []
def record_request(language, model, input_tokens, output_tokens, latency_ms):
records.append({
"language": language,
"model": model,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"latency_ms": latency_ms,
})
start = time.perf_counter()
# 用真实调用替换这里;示例数据用于验证统计逻辑。
for language in ["en", "zh", "ja"]:
record_request(
language=language,
model="your-model-name",
input_tokens=1200,
output_tokens=300,
latency_ms=850,
)
elapsed_ms = (time.perf_counter() - start) * 1000
summary = defaultdict(lambda: {"requests": 0, "tokens": 0, "latency_ms": 0})
for row in records:
item = summary[row["language"]]
item["requests"] += 1
item["tokens"] += row["input_tokens"] + row["output_tokens"]
item["latency_ms"] += row["latency_ms"]
print(json.dumps({
"elapsed_ms": round(elapsed_ms, 2),
"by_language": summary,
}, ensure_ascii=False, indent=2))
接入真实推理服务后,再补上 GPU utilization、batch size 和模型部署信息。若要比较能源消耗,可在相同硬件、相同 batch 配置下运行固定测试集,并接入 NVIDIA DCGM 或云厂商的能耗监控工具。
第四步,把路由和缓存纳入策略。
- 英语请求命中缓存,不代表中文请求也能命中同样的缓存前缀;
- 不同语言可能需要不同的 embedding 或 reranker;
- 模型路由可以按语言、任务和负载拆分,但不要让每个请求都触发一次翻译模型;
- 工具结果如果本身与语言无关,可以保留统一结构,只在最终面向用户时做必要转换。
最后,预算表里应单独列出“语言”。
language_budget = {
"en": {"max_cost_per_request": 0.010, "max_p95_latency_ms": 1200},
"zh": {"max_cost_per_request": 0.016, "max_p95_latency_ms": 1600},
"de": {"max_cost_per_request": 0.014, "max_p95_latency_ms": 1500},
}
这些阈值不是通用答案,应该从真实流量和业务要求反推。但它迫使团队把非英语请求当作独立负载,而不是英语方案的附属入口。
原始研究可参考密歇根大学 News:https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/。
编辑思考
这项研究值得工程团队关注,因为多语言支持正从产品功能变成基础设施义务。客服、AI Agent、语音接口和知识库都要面对语言切换,但预算表往往只按“模型”和“token”统计,不区分语言效率。
我的判断有点反直觉:更实用的多语言模型,未必是覆盖语言最多的模型,而是能针对目标语言减少翻译、缩短推理链的模型。榜单也应该加入每百万 token 能耗、P95 延迟和同等质量下的 token 消耗。
它与过去“参数更大、榜单更高”的评测不同。多语言能力不再只是答对与否,还要比较计算效率。不过现有素材没有给出各语言之间的完整差距,也没有提供统一硬件下的能源曲线。实际能提升多少,要看模型是否使用目标语言数据训练,以及系统是否必须经过英语中转。可以先测,别急着给某种语言贴上固定成本标签。
来源
https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/