非英語のリクエストは、通常、英語のリクエストより多くのエネルギーを消費します。モデルが多くの言語に対応していても、各言語の処理効率が同じとは限りません。本稿ではコストの発生要因を分解し、実践的に導入できる監視方法を説明します。
まず研究の結論から
ミシガン大学 News に掲載された記事「Generative AI uses more energy on non-english text」では、生成式AIが非英語のテキストを処理する際、通常、英語を処理するより多くのエネルギーを消費すると報告されています。
同記事は掲載後に Hacker News のトップページにも掲載されました。取得時点では15 points、5件のコメントでした。
これは、非英語のリクエストが必ずほど Буду использоватьほど遅いことを意味,也不_EQdoes モデルが中国語、日本語、スワヒリ語に対応していないことを意味也不_EQ。より正確に言えば、同じモデルでも言語によって計算効率が異なる可能性があります。
多くの製品の発表ページでは「100以上の言語に対応」「跨言語推論が可能」と強調されます。これらの数字は機能の対応範囲を示しますが、コストについては答えません。
- 100万 tokenあたりの費用はいくらか。
- 1件のリクエストがGPUを占有する時間はどれくらいか。
- 同じ出力品質を得るために必要なtoken数はいくつか。
- 同じタスクの処理にどれくらいのエネルギンが消費されるか。
一般ユーザーにはこれらの指標は見えません。一方、AI Agentを運用するエンジニアリングチームは、製品を规模化できるかを判断するために必要です。
言語は、UI上のドロップダウンに過ぎません。データ処理、tokenization、推論、生成に直接影響します。
英語データが生む隠れたコスト
問題の一部は学習データから生じます。主流モデルの訓練データは英語が中心です。非英語のデータを取り込む際、GBP село英語へ翻訳してから、英語の入力として処理するケースがよくあります。
ユーザー入力:非英語テキスト
↓
機械翻訳レイヤー:非英語 → 英語
↓
対象モデル:英語入力として理解と推論を実行
↓
機械翻訳レイヤー:英語 → 非英語
↓
ユーザーが最終回答を受信
つまり、モデルは推論を1回だけ実行しているわけではありません。翻訳自体がモデルによる計算です。入力の翻訳、対象モデルの推論、出力の翻訳は、それぞれ複数の直列ステップに対応する可能性があります。
token数にも影響します。tokenizerは言語ごとに異なる有効文字率を持ちます。同じ内容でも、中国語、日本語、英語で生成されるtoken数が異なると考えられる。文字数が近いからといって、計算量も同じではありません。
中間の翻訳は情報損失も诱发します。口語、スラング、コードと日本語の混在、否定関係、地域固有の表現は、英語のコーパスには比較的まれです。英語に翻訳してから処理する Civilization は、モデルを一旦 lossy compression にかけることに相当します。
したがって、非英語経路のコストは3つの源泉から生じる可能性があります。
- 翻訳に必要な追加計算。
- 翻訳後に長くなる、または複雑になるコンテキスト。
- 翻訳による損失を補うための追加生成、検証、再試行。
これは「ある言語に対応するための追加機能」ではなく、リクエスト単位で発生する言語コストに近いものです。
多言語のベンチマークがコストを隠す可能性
モデルが翻訳や回答有能力 Loganthaしても、各言語が同じ効率で処理されることを意味しません。
あるモデルが中国語の benchmark で高評価を得ても、特定のタスクで良い結果を出せることしか示しません。中国語の prompt に対する first-token latency はどれくらいか。100万 token あたりの推論価格はいくつか。同じ長さの回答に必要なGPU時間はどれほどか。これらの値は直接示されません。
この違いは、リソースが限られる言語对应的製品にとって特に重要です。
たとえば、4言語を扱う多言語カスタマーサポート Agent があるとします。テストでは、人工で整理した高质量な短いテキストを各言語で使用します。しかし本番では、絵文字、業界略語、住所、方言を含む長いテキストが入力されます。テスト結果を本番の負荷に直接外挿することはできません。
エンジニアリングチームは、少なくとも次の指標を言語別に記録する必要があります。
| 指標 | 英語 | 非英語 |
|---|---|---|
| 入力・出力token数 | 言語別に集計 | 言語別に集計 |
| first-token latency | P50、P95、P99 | P50、P95、P99 |
| 1リクエストあたりのGPU時間 | 実負荷とキャッシュヒットを区別 | 実負荷とキャッシュヒットを区別 |
| 100万tokenあたりのコスト | 実際の課金モデルに換算 | 実際の課金モデルに換算 |
| 再試行率 | 翻訳、ツール呼び出し、形式エラーを記録 | 言語別に拆分 |
| エネルギーまたは算力強度 | 同一のハードウェアとbatchで比較 | 同一のハードウェアとbatchで比較 |
AI Agentではさらに複雑になります。Agentは「翻訳 → 計画 → ツール呼び出し → 回答の検証 → 元の言語へ翻訳」という工程を踏む可能性があります。いずれかの工程で出力tokenが増えたり、失敗による再試行が発生したりすると、総コストに積み重なります。
したがって、多言語のベンチマークは「正解だったか」だけでなく、「正解を得るためにどれだけの資源を使ったか」まで広げるべきです。accuracy は品質patheticの指標であり、能効は運用 관련된指標です。どちらも欠けません。
リアルタイム翻訳で請求額が増え続ける
リアルタイム翻訳と多言語カスタマーサポートでは、追加の計算がより頻繁に発生します。
従来の翻訳ツールは、通常、文単位の一度限りの変換を中心とします。一方、生成式AIシステムは、文脈全体を継続して推論し、ユーザーの意図を理解し、知识ベースを呼び出し、回答を生成してから、ユーザーの言語へ戻すことがあります。
リアルタイム翻訳でストリーミング出力を使用すると、1ターンの会話ごとに複数のモデルを繰り返し経由する場合があります。人がeskalationする前の「未解決の問題」でも、Agent上では複数の検索、ツール呼び出し、自己診断をすでに誘発している可能性があります。
リソースが限られる言語の利用量が増えると、この追加計算によってAIのエネルギー負荷がさらに拡大する可能性があります。理由は特殊な現象ではありません。リクエストが増え、翻訳工程が増え、直列の推論チェーンが長くなるためです。規模が大きくなるほど、もともと目立たない言語差が拡大します。
英語は通常、システムの内部で「作業言語」として機能します。ユーザーが中国語を話し、検索ツールが英語を受け取り、データベースが英文を返し、最後に中国語へ翻訳されます。言語を切り替えるたびに、latencyとtokenが増える可能性があります。
そのため、「モデルが多くの言語に対応する」だけではサポート一覧だけでは判断できません。実際に確認すべきなのは、各レイヤーで翻訳を挟むのではなく、対象言語だけでエンドツーエンドのタスクを完了できるかどうかです。
エンジニアリングでコストを抑える方法
まず、対象言語のネイティブ学習データを優先的に使うべきです。
業務に中国語、ドイツ語、アラビア語のログが大量に存在するのであれば、原文を保持して学習、fine-tuning、preference optimization に利用します。すべてを直ちに英語へ翻訳する必要はありません。原文に含まれる構文、用語、エラーパターンは、モデルが対象市場に適応するために必要な情報です。
次に、「英語へ翻訳してから戻す」経路を短縮します。エンドツーエンドの多言語モデル、地域特化モデル、言語ごとに専門モデルへルーティングする方法が、中間翻訳を減らせる可能性があります。ただし、導入する価値があるかは、モデル完成的ページではなく、実際のリクエストで測定して判断する必要があります。
3番目に、言語別のGPU時間とエネルギー消費を記録します。
最も低コストな実装は、各呼び出しに language フィールドを追加し、モデル、token数、latency、GPU時間、再試行回数を同じtraceに書き込むことです。
以下は実行可能なPythonの例です。物理的なエネルギー消費を測定するものではありませんが、言語単位のコスト基準を作るには利用できます。
import json
import time
from collections import defaultdict
records = []
def record_request(language, model, input_tokens, output_tokens, latency_ms):
records.append({
"language": language,
"model": model,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"latency_ms": latency_ms,
})
start = time.perf_counter()
# 用实际调用替换这里;示例数据用于验证统计逻辑。
for language in ["en", "zh", "ja"]:
record_request(
language=language,
model="your-model-name",
input_tokens=1200,
output_tokens=300,
latency_ms=850,
)
elapsed_ms = (time.perf_counter() - start) * 1000
summary = defaultdict(lambda: {"requests": 0, "tokens": 0, "latency_ms": 0})
for row in records:
item = summary[row["language"]]
item["requests"] += 1
item["tokens"] += row["input_tokens"] + row["output_tokens"]
item["latency_ms"] += row["latency_ms"]
print(json.dumps({
"elapsed_ms": round(elapsed_ms, 2),
"by_language": summary,
}, ensure_ascii=False, indent=2))
実際の推論サービスに接続したら、GPU utilization、batch size、モデルのデプロイメント情報を追加します。エネルギー消費を比較する場合は、同一ハードウェア、同一batch構成で固定テストセットを実行し、NVIDIA DCGMまたはクラウド事業者のエネルギー監視ツールに接続します。
4番目に、ルーティングとキャッシュを戦略に組み込みます。
- 英語のリクエストがキャッシュヒットしても、中国語のリクエストが同じキャッシュプレフィックスをヒットできるとは限りません。
- 言語ごとに異なるembeddingやrerankerが必要になる場合があります。
- モデルルーティングは言語、タスク、負荷で分けられますが、各リクエストが翻訳モデルを起動しないよう注意してください。
- ツール結果が言語に依存しない場合は、統一した構造を保持し、ユーザーに提示する最終段階でのみ必要な変換を行います。
最後に、予算表には「言語」を個別に列挙します。
language_budget = {
"en": {"max_cost_per_request": 0.010, "max_p95_latency_ms": 1200},
"zh": {"max_cost_per_request": 0.016, "max_p95_latency_ms": 1600},
"de": {"max_cost_per_request": 0.014, "max_p95_latency_ms": 1500},
}
これらの閾値に普遍的な答えはありません。実際のトラフィックと業務要件から逆算する必要があります。ただし、非英語のリクエストを英語構成の付属入口として扱わず、独立した負荷として管理迫使 econom 促せます。
元の研究については、ミシガン大学 Newsを参照してください:https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/。
編集者の視点
この研究はエンジニアリングチームが注目する価値があります。多言語対応は、製品機能からインフラの必須要件へと変わりつつあります。カスタマーサポート、AI Agent、音声インターフェース、知识ベースはいずれも言語の切り替え会遇到一方、予算表では「モデル」と「token」で集計することが多く、言語効率を区別していません。
köp slightly counterintuitive な见的はこうです。実用的な多言語モデルとは、対応言語数が最多のモデルとは限らず、対象言語で翻訳を減らし、推論チェーンを短くできるモデルです。ベンチマークにも、100万tokenあたりのエネルギー消費、P95 latency、同じ品質を維持する際のtoken消費を追加する必要があります。
これは,过去の「パラメータ数が大きいほど、ベンチマークスコアが高いほど良い」という評価とは異なります。多言語能力は、正解率だけでなく計算効率も比較する対象にすべきです。ただし、既存の情報には言語間の完全な差,也没有統一されたハードウェア環境でのエネルギー曲線は含まれていません。実際の改善幅は、モデルが対象言語のデータで訓練されているか、またシステムが英語を経由する必要 얼마나 있는かに依存します。まず測定し、特定の言語に固定のコスト烙印を押すのは避けましょう。
出典
https://news.umich.edu/generative-ai-uses-more-energy-on-non-english-text/