實戰

多語言 LLM 的隱形成本:能源、Token 與 Agent 重試實測

密西根大學研究指出,生成式 AI 處理非英語文本通常會消耗更多能源。本文從翻譯中轉、Token 差異與 Agent 重試等面向拆解成本,並提出按語言追蹤、路由與控管的實作方法。

字級

非英語請求通常更耗能。模型支援更多語言,並不表示每種語言的處理效率都相同。本文將拆解成本來源,並提出可落地的監控方法。

先看研究結論

密西根大學 News 發表的文章〈Generative AI uses more energy on non-english text〉指出,生成式 AI 處理非英語文本時,通常比處理英語消耗更多能源。

文章發布後登上 Hacker News 首頁。抓取時顯示 15 points、5 則留言。

這不表示非英語請求一定慢到無法使用,也不表示模型無法支援中文、日文或斯瓦希里語。更精確地說,同一種模型在不同語言上的運算效率可能有所差異。

許多產品發布頁會強調「支援 100+ 種語言」「可進行跨語言推理」。這些數字能說明能力涵蓋範圍,卻無法回答成本問題:

  • 每百萬 token 多少錢?
  • 一段請求占用 GPU 多久?
  • 輸出品質相同時,需要產生多少 token?
  • 同一項任務會消耗多少能源?

一般使用者看不到這些指標,但負責部署 AI Agent 的工程團隊必須依靠它們判斷產品能否大規模營運。

語言不只是介面上的一個下拉選單。它會影響資料處理、tokenization、推理與生成。

英語資料帶來的隱形稅

問題的一部分來自訓練語料。主流模型的訓練資料以英語為主。非英語資料進入模型前,常見做法是先翻譯成英文,再以英文輸入處理。

使用者輸入:非英語文本
        ↓
機器翻譯層:非英語 → 英文
        ↓
目標模型:以英文輸入完成理解與推理
        ↓
機器翻譯層:英文 → 非英語
        ↓
使用者收到最終回答

這代表模型並非只執行一次推理。翻譯本身就是一次模型運算。輸入翻譯、目標模型推理與輸出翻譯,也可能對應多個串行步驟。

翻譯也會影響 token 數量。tokenizer 對不同語言的有效字元率各不相同。同一個意思,中文、日文與英文可能產生不同數量的 token。字元數相近,不代表運算量相同。

中間翻譯還可能造成資訊損失。口語、俚語、混合程式碼、否定關係與地區用語,在英文語料中可能比較少見。先翻成英文再處理,相當於讓模型經歷一次有損壓縮。

因此,非英語路徑的成本可能來自三個地方:

  1. 額外的翻譯運算;
  2. 翻譯後更長或更複雜的上下文;
  3. 為弥补翻譯損失而進行的額外生成、驗證或重試。

這不是「支援某種語言」的附加功能,更接近一筆依請求計算的語言稅。

多語言排行榜可能掩蓋成本

模型能翻譯、能回答,不代表各語言擁有相同的處理效率。

某個模型在中文 benchmark 上取得高分,只能證明它在某項任務上的表現較佳,無法直接告訴我們:中文 prompt 的首 token 延遲是多少?每百萬 token 的推理價格是多少?答案長度相同時,需要消耗多少 GPU 時間?

這些差異對低資源語言的產品尤其重要。

假設某個跨語言客服 Agent 需要處理四種語言。測試時,每種語言都使用人工整理的高品質短文本;上線後,系統接收的卻是包含表情符號、產業縮寫、地址與方言的長文本。測試結果不能直接外推至正式環境的工作負載。

工程團隊至少應分別記錄以下資料:

指標 英語 非英語
輸入與輸出 token 數 按語言統計 按語言統計
首 token 延遲 P50、P95、P99 P50、P95、P99
單次請求 GPU 時間 區分真實負載與快取命中 區分真實負載與快取命中
每百萬 token 成本 換算至實際計費模型 換算至實際計費模型
重試率 記錄翻譯、工具呼叫與格式錯誤 按語言拆分
能源或運算強度 盡量使用相同硬體與 batch 比較 盡量使用相同硬體與 batch 比較

AI Agent 的情況更複雜。Agent 可能經歷「翻譯 → 規劃 → 呼叫工具 → 驗證答案 → 翻譯回原始語言」。任何一步增加輸出 token,或觸發一次失敗重試,都會疊加至總成本。

因此,多語言排行榜應從「答對了沒有」擴充為「花費多少資源才答對」。準確率是品質指標,能效則是部署指標,兩者缺一不可。

即時翻譯讓帳單持續上升

即時翻譯與跨語言客服,會讓額外運算更頻繁發生。

傳統翻譯工具通常以一次性的句子轉換為主。生成式 AI 系統則可能持續推理整段上下文:理解使用者意圖、呼叫知識庫、產生答案,再將答案轉回使用者使用的語言。

若即時翻譯採用串流輸出,每一輪對話都可能重複經過多個模型。人工接手前的一個「尚未解決問題」,在 Agent 系統中可能已經引發多次檢索、工具呼叫與自我檢查。

低資源語言的使用量增加後,這部分額外運算還可能進一步擴大 AI 的能源足跡。原因並不神祕:請求增加、翻譯步驟增加,串行推理鏈也會變長。規模會放大原本不明顯的語言差異。

英語通常承擔系統內部的「工作語言」。使用者以中文說話,檢索工具接收英文,資料庫回傳英文,最後再翻回中文。每次跨語言切換,都可能增加延遲與 token。

這也是為何「模型支援更多語言」不能只看支援清單。真正該問的是:系統能否直接在目標語言中完成端到端任務,而不是每經過一層就翻譯一次。

如何在工程上減少這筆成本

第一步,是優先使用目標語言的原生訓練資料。

如果業務中有大量中文、德文或阿拉伯文日誌,就應保留原始文本,用於訓練、微調或偏好最佳化,不必急著全部翻譯成英文。原始表達中的句法、術語與錯誤模式,正是模型適應目標市場所需的重要資訊。

第二步,縮短「先翻成英文再翻回來」的處理鏈。

端到端多語言模型、區域化模型,或依語言將請求路由至專用模型,都可能減少中間翻譯。是否值得,仍應以真實請求測量,而不是只看模型宣傳頁。

第三步,按語言記錄 GPU 時間與能耗。

成本最低的實作方式,是為每次呼叫加上 language 欄位,並將模型、token 數、延遲、GPU 時間與重試次數寫入同一筆 trace。

以下是一段可執行的 Python 範例。它不會測量實體能耗,但能先建立語言層級的成本基準:

import json
import time
from collections import defaultdict

records = []

def record_request(language, model, input_tokens, output_tokens, latency_ms):
    records.append({
        "language": language,
        "model": model,
        "input_tokens": input_tokens,
        "output_tokens": output_tokens,
        "latency_ms": latency_ms,
    })

start = time.perf_counter()

# 用真實呼叫替換這裡;範例資料用於驗證統計邏輯。
for language in ["en", "zh", "ja"]:
    record_request(
        language=language,
        model="your-model-name",
        input_tokens=1200,
        output_tokens=300,
        latency_ms=850,
    )

elapsed_ms = (time.perf_counter() - start) * 1000
summary = defaultdict(lambda: {"requests": 0, "tokens": 0, "latency_ms": 0})

for row in records:
    item = summary[row["language"]]
    item["requests"] += 1
    item["tokens"] += row["input_tokens"] + row["output_tokens"]
    item["latency_ms"] += row["latency_ms"]

print(json.dumps({
    "elapsed_ms": round(elapsed_ms, 2),
    "by_language": summary,
}, ensure_ascii=False, indent=2))

接入真實推理服務後,再補上 GPU utilization、batch size 與模型部署資訊。若要比較能源消耗,可在相同硬體與相同 batch 設定下執行固定測試集,並接入 NVIDIA DCGM 或雲端服務業者的能耗監控工具。

第四步,將路由與快取納入策略。

  • 英語請求命中快取,不代表中文請求也能命中相同的快取前綴;
  • 不同語言可能需要不同的 embedding 或 reranker;
  • 模型路由可以依語言、任務與負載拆分,但不要讓每個請求都觸發一次翻譯模型;
  • 若工具結果本身與語言無關,可以保留統 一結構,只在最終面向使用者時進行必要轉換。

最後,預算表中應單獨列出「語言」。

language_budget = {
    "en": {"max_cost_per_request": 0.010, "max_p95_latency_ms": 1200},
    "zh": {"max_cost_per_request": 0.016, "max_p95_latency_ms": 1600},
    "de": {"max_cost_per_request": 0.014, "max_p95_latency_ms": 1500},
}

這些門檻並非通用答案,應從真實流量與業務需求反推。但這能迫使團隊將非英語請求視為獨立負載,而非英語方案的附屬入口。

原始研究可參考密西根大學 News:https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/。

編輯觀點

這項研究值得工程團隊關注,因為多語言支援正從產品功能轉變為基礎設施義務。客服、AI Agent、語音介面與知識庫都要處理語言切換,但預算表通常只按「模型」與「token」統計,並未區分語言效率。

我的判斷有點反直覺:更實用的多語言模型,未必是涵蓋語言最多的模型,而是能針對目標語言減少翻譯、縮短推理鏈的模型。排行榜也應加入每百萬 token 能耗、P95 延遲,以及同等品質下的 token 消耗。

這與過去「參數更大、排行榜更高」的評測方式不同。多語言能力不再只是能否答對,還要比較運算效率。不過現有資料尚未提供各語言之間的完整差距,也沒有同樣硬體條件下的能源曲線。實際能改善多少,取決於模型是否以目標語言資料訓練,以及系統是否必須經過英文中轉。先進行測量,再決定是否為某種語言貼上固定成本標籤。

來源

https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/

來源: https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/