非英語請求通常更耗能。模型支援更多語言,並不表示每種語言的處理效率都相同。本文將拆解成本來源,並提出可落地的監控方法。
先看研究結論
密西根大學 News 發表的文章〈Generative AI uses more energy on non-english text〉指出,生成式 AI 處理非英語文本時,通常比處理英語消耗更多能源。
文章發布後登上 Hacker News 首頁。抓取時顯示 15 points、5 則留言。
這不表示非英語請求一定慢到無法使用,也不表示模型無法支援中文、日文或斯瓦希里語。更精確地說,同一種模型在不同語言上的運算效率可能有所差異。
許多產品發布頁會強調「支援 100+ 種語言」「可進行跨語言推理」。這些數字能說明能力涵蓋範圍,卻無法回答成本問題:
- 每百萬 token 多少錢?
- 一段請求占用 GPU 多久?
- 輸出品質相同時,需要產生多少 token?
- 同一項任務會消耗多少能源?
一般使用者看不到這些指標,但負責部署 AI Agent 的工程團隊必須依靠它們判斷產品能否大規模營運。
語言不只是介面上的一個下拉選單。它會影響資料處理、tokenization、推理與生成。
英語資料帶來的隱形稅
問題的一部分來自訓練語料。主流模型的訓練資料以英語為主。非英語資料進入模型前,常見做法是先翻譯成英文,再以英文輸入處理。
使用者輸入:非英語文本
↓
機器翻譯層:非英語 → 英文
↓
目標模型:以英文輸入完成理解與推理
↓
機器翻譯層:英文 → 非英語
↓
使用者收到最終回答
這代表模型並非只執行一次推理。翻譯本身就是一次模型運算。輸入翻譯、目標模型推理與輸出翻譯,也可能對應多個串行步驟。
翻譯也會影響 token 數量。tokenizer 對不同語言的有效字元率各不相同。同一個意思,中文、日文與英文可能產生不同數量的 token。字元數相近,不代表運算量相同。
中間翻譯還可能造成資訊損失。口語、俚語、混合程式碼、否定關係與地區用語,在英文語料中可能比較少見。先翻成英文再處理,相當於讓模型經歷一次有損壓縮。
因此,非英語路徑的成本可能來自三個地方:
- 額外的翻譯運算;
- 翻譯後更長或更複雜的上下文;
- 為弥补翻譯損失而進行的額外生成、驗證或重試。
這不是「支援某種語言」的附加功能,更接近一筆依請求計算的語言稅。
多語言排行榜可能掩蓋成本
模型能翻譯、能回答,不代表各語言擁有相同的處理效率。
某個模型在中文 benchmark 上取得高分,只能證明它在某項任務上的表現較佳,無法直接告訴我們:中文 prompt 的首 token 延遲是多少?每百萬 token 的推理價格是多少?答案長度相同時,需要消耗多少 GPU 時間?
這些差異對低資源語言的產品尤其重要。
假設某個跨語言客服 Agent 需要處理四種語言。測試時,每種語言都使用人工整理的高品質短文本;上線後,系統接收的卻是包含表情符號、產業縮寫、地址與方言的長文本。測試結果不能直接外推至正式環境的工作負載。
工程團隊至少應分別記錄以下資料:
| 指標 | 英語 | 非英語 |
|---|---|---|
| 輸入與輸出 token 數 | 按語言統計 | 按語言統計 |
| 首 token 延遲 | P50、P95、P99 | P50、P95、P99 |
| 單次請求 GPU 時間 | 區分真實負載與快取命中 | 區分真實負載與快取命中 |
| 每百萬 token 成本 | 換算至實際計費模型 | 換算至實際計費模型 |
| 重試率 | 記錄翻譯、工具呼叫與格式錯誤 | 按語言拆分 |
| 能源或運算強度 | 盡量使用相同硬體與 batch 比較 | 盡量使用相同硬體與 batch 比較 |
AI Agent 的情況更複雜。Agent 可能經歷「翻譯 → 規劃 → 呼叫工具 → 驗證答案 → 翻譯回原始語言」。任何一步增加輸出 token,或觸發一次失敗重試,都會疊加至總成本。
因此,多語言排行榜應從「答對了沒有」擴充為「花費多少資源才答對」。準確率是品質指標,能效則是部署指標,兩者缺一不可。
即時翻譯讓帳單持續上升
即時翻譯與跨語言客服,會讓額外運算更頻繁發生。
傳統翻譯工具通常以一次性的句子轉換為主。生成式 AI 系統則可能持續推理整段上下文:理解使用者意圖、呼叫知識庫、產生答案,再將答案轉回使用者使用的語言。
若即時翻譯採用串流輸出,每一輪對話都可能重複經過多個模型。人工接手前的一個「尚未解決問題」,在 Agent 系統中可能已經引發多次檢索、工具呼叫與自我檢查。
低資源語言的使用量增加後,這部分額外運算還可能進一步擴大 AI 的能源足跡。原因並不神祕:請求增加、翻譯步驟增加,串行推理鏈也會變長。規模會放大原本不明顯的語言差異。
英語通常承擔系統內部的「工作語言」。使用者以中文說話,檢索工具接收英文,資料庫回傳英文,最後再翻回中文。每次跨語言切換,都可能增加延遲與 token。
這也是為何「模型支援更多語言」不能只看支援清單。真正該問的是:系統能否直接在目標語言中完成端到端任務,而不是每經過一層就翻譯一次。
如何在工程上減少這筆成本
第一步,是優先使用目標語言的原生訓練資料。
如果業務中有大量中文、德文或阿拉伯文日誌,就應保留原始文本,用於訓練、微調或偏好最佳化,不必急著全部翻譯成英文。原始表達中的句法、術語與錯誤模式,正是模型適應目標市場所需的重要資訊。
第二步,縮短「先翻成英文再翻回來」的處理鏈。
端到端多語言模型、區域化模型,或依語言將請求路由至專用模型,都可能減少中間翻譯。是否值得,仍應以真實請求測量,而不是只看模型宣傳頁。
第三步,按語言記錄 GPU 時間與能耗。
成本最低的實作方式,是為每次呼叫加上 language 欄位,並將模型、token 數、延遲、GPU 時間與重試次數寫入同一筆 trace。
以下是一段可執行的 Python 範例。它不會測量實體能耗,但能先建立語言層級的成本基準:
import json
import time
from collections import defaultdict
records = []
def record_request(language, model, input_tokens, output_tokens, latency_ms):
records.append({
"language": language,
"model": model,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"latency_ms": latency_ms,
})
start = time.perf_counter()
# 用真實呼叫替換這裡;範例資料用於驗證統計邏輯。
for language in ["en", "zh", "ja"]:
record_request(
language=language,
model="your-model-name",
input_tokens=1200,
output_tokens=300,
latency_ms=850,
)
elapsed_ms = (time.perf_counter() - start) * 1000
summary = defaultdict(lambda: {"requests": 0, "tokens": 0, "latency_ms": 0})
for row in records:
item = summary[row["language"]]
item["requests"] += 1
item["tokens"] += row["input_tokens"] + row["output_tokens"]
item["latency_ms"] += row["latency_ms"]
print(json.dumps({
"elapsed_ms": round(elapsed_ms, 2),
"by_language": summary,
}, ensure_ascii=False, indent=2))
接入真實推理服務後,再補上 GPU utilization、batch size 與模型部署資訊。若要比較能源消耗,可在相同硬體與相同 batch 設定下執行固定測試集,並接入 NVIDIA DCGM 或雲端服務業者的能耗監控工具。
第四步,將路由與快取納入策略。
- 英語請求命中快取,不代表中文請求也能命中相同的快取前綴;
- 不同語言可能需要不同的 embedding 或 reranker;
- 模型路由可以依語言、任務與負載拆分,但不要讓每個請求都觸發一次翻譯模型;
- 若工具結果本身與語言無關,可以保留統 一結構,只在最終面向使用者時進行必要轉換。
最後,預算表中應單獨列出「語言」。
language_budget = {
"en": {"max_cost_per_request": 0.010, "max_p95_latency_ms": 1200},
"zh": {"max_cost_per_request": 0.016, "max_p95_latency_ms": 1600},
"de": {"max_cost_per_request": 0.014, "max_p95_latency_ms": 1500},
}
這些門檻並非通用答案,應從真實流量與業務需求反推。但這能迫使團隊將非英語請求視為獨立負載,而非英語方案的附屬入口。
原始研究可參考密西根大學 News:https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/。
編輯觀點
這項研究值得工程團隊關注,因為多語言支援正從產品功能轉變為基礎設施義務。客服、AI Agent、語音介面與知識庫都要處理語言切換,但預算表通常只按「模型」與「token」統計,並未區分語言效率。
我的判斷有點反直覺:更實用的多語言模型,未必是涵蓋語言最多的模型,而是能針對目標語言減少翻譯、縮短推理鏈的模型。排行榜也應加入每百萬 token 能耗、P95 延遲,以及同等品質下的 token 消耗。
這與過去「參數更大、排行榜更高」的評測方式不同。多語言能力不再只是能否答對,還要比較運算效率。不過現有資料尚未提供各語言之間的完整差距,也沒有同樣硬體條件下的能源曲線。實際能改善多少,取決於模型是否以目標語言資料訓練,以及系統是否必須經過英文中轉。先進行測量,再決定是否為某種語言貼上固定成本標籤。
來源
https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/