大モデルのランキングほど、誤読されやすいものはありません。
本稿では、Intelligence Index v5 の評価軸、コスト計算、Agent の轨迹評価を分解し、技術リーダーが実行可能なモデル選定プロセスを構築する方法を考えます。
Intelligence Index v5 深度解説:企業向けモデル選定は点だけでは決めない
Artificial Analysis は最近、Intelligence Index v5 を公開しました。新しいモデルではなく、ベンチマークとランキングのフレームワーク的第5回更新です。異なる大モデルの能力と利用コストを横並びで比較するために使われます。
この更新が Hacker News のフロントページに載った際は、54ポイント、61コメントを獲得しました。開発者が気にしているのは単なる順位ではありません。ランキングをモデル横断で比較できるか、チームの実際のモデル選定に役立つのかという点です。
まず前提を明示します。現在のニュースサマリーには、v5 の具体的なモデル順位、各指標の重み、スコアの変化は掲載されていません。確認できるのは、フレームワークの更新と、推論品質、出力価格、応答速度の3軸を比較する方針です。実際の重みと順位は原文で確認する必要があります。
v5は新しい成績表ではない
Intelligence Index v5 は、単一モデルのリリースではなく、評価フレームワークの更新です。
設問を替えてモデルを再実行し、新しいランキングを公開しただけでは、时期的制限がある成績表が得られるだけです。フレームワークの更新は、「Models should be compared in a certain way」の再定義に近いものになります。
従来のモデルランキングでは、能力を単一の数値にまとめて壁紙[**1**]合意する图层が一般的でした。便利ではありますが、情報の損失も大きくなります。
あるモデルは推論問題で高い性能を出しても、高頻度呼び出しには価格が高すぎる場合があります別のモデルは総合スコアがわずかに低くても出力が速く、客服 AI Agent に組み込んだ方が安定する也存在这种情况。順位だけを公開しても、購入を担当するチームはデータを自ら分解する必要があります。
v5 は少なくとも、能力とコストを併置する比較まで進んでいます。Artificial Analysis の記事サマリーでは、この版が異なる大モデルの能力と利用コストの横比較に利用できると明記されています。
出典:Artificial Analysis のIntelligence Index v5 記事。
HN で獲得した54ポイントと61コメントも傍証となります。開発者はランキングについて議論 Plenty 했습니다 newlineが、中心和 was 比較可能性でした。
総合スコアは調達コストを隠す
企業によるモデル選定では、少なくとも3つの問いを分けて考えます。
- 推論品質は adequate ですか。
- 出力価格はいくらですか。
- 応答速度は要件を満たしますか。
この3項目を1つの総合スコアにまとめると、ランキングは簡潔になりますが、調達判断が必ず[MAGIC]簡単になるわけではありません。
2つのモデルのスコアが数点しか違わず、片方が80%安く、もう片方の初回トークン遅延が半分だったとします。1日数百万回呼び出す AI Agent なら、その価格差は数点の能力差より重要になる場合があります。
品質と価格の関係も固定ではありません。高頻度で、処理内容が明確で、失敗コストの高いタスクと、1回限りの調査タスクでは、適したコスト曲線が異なる可能性があります。
低スコアでも安いモデルが、低価値のモデルとは限りません。ランキング上の難問には不向きでも、分類、抽出、書き換え、ルーティングなど反復作業には適している可能性があります。Agent のメインループでは、多くのリクエストが「智力问题」ではありません。モデルを不安定だが呼び出せる実行装置として使う場面です。
したがって、Intelligence Index v5 を見る際は、最初に首位を確認するのではなく、自社の呼び出し構成において3つの評価軸が何を意味するかを確認します。
たとえば、客服 Agent が1日20万件の対話を処理し、各ターンの入力が2,000トークン、出力が300トークンだとします。2つのモデルの能力評価が同程度でも、出力単価に呼び出し回数を掛ければ、請求額の違いは直接四半期予算に影響します。
現在のニュースサマリーに各モデルの実際の価格が掲載されていない以上、順位から Hendrix 安いモデルを推測すべきではありません。ランキングのフレームワークは統一された入口を提供しますが、最終的にはサプライヤーの請求と実-token 使用量で照合する必要があります。
AI Agentは実行の軌跡で評価する
これは v5 で最も見落とされやすいものの、企業にとって最も重要な層です。
静的 benchmark が測定するのは「1回の回答」です。AI Agent が完了するのは、目標の理解、ツールの呼び出し、結果の読み取り、偏差の発見、再試行または終了の判断という一連の動作です。
モデルが初めて誤ったツールを選んでも、タスク全体が直ちに失敗するとは限りません。システムが再試行ループに入り、トークンを余計に消費し、数秒待ち、誤った結果を最終的に納品する可能性もあります。
ランキングスコアと実タスクの完了率の間には、複数のエンジニアリング課題が介在します。
- ツールの説明は明確ですか。
- パラメーター形式は安定していますか。
- コンテキストに無関係な情報が混ざっていませんか。
- 失敗後、再試行、モデル変更、人への引き継ぎのいずれを行いますか。
- タイムアウトとエラー状態を確実に捕捉できますか。
これらは、より高スコアのモデルに変更するだけで自動的には解決しません。
典型的な例として、ランキング1位のモデルの完了率が82%、2位が88%だった에도 불구하고、最終的に本番環境では2位を採用したプロジェクトがあります。1位はツール呼び出し形式が不安定で、パース失敗と人手による対応が多く発生したためでした。
測定すべきなのは最終回答だけでなく、軌跡です。
最低でも次の4つの指標を記録します。
- タスク完了率
- 平均ツール呼び出し回数
- 失敗再試行率
- 成功した1タスクあたりのエンドツーエンドコスト
最後の指標は調達上の価値が最も高いです。トークン消費、遅延、インフラ費用、人手対応コストを同じ基準で捉えられるためです。
安いモデルが4回再試行してTasks に needs succeed 未必、高価でも一度で成功するモデルより経済的だとは限りません。
Indexを審判官ではなく絞り込みに使う
Intelligence Index v5 は、企業によるモデル選定の最終解答とは位置づけませんUntitled レイヤーを候補モデルの絞り込みに使う方が合理的です。
第1ステップは、業務タスクに沿った社内評価セットを作ることです。
公開 benchmark をそのまま複製しないでください。実タスクから匿名化した、数百件の再実行可能なサンプルを作成します。客服チケット、コード修正、データ抽出、レポート生成、LangGraph におけるルーティングとツール呼び出しなどが例です。
各サンプルには明確な合格基準が必要です。最終的なテキストだけではなく、中間の失敗も記録します。
第2ステップは、v5 で候補を絞り込むことです。
まず、品質、速度、予算の制約を明らかに満たさないモデルを除外し、少数の候補だけを残します。この段階で統一フレームワークを使って比較すれば、各チームが跑了 各自のERTY選好で試すより管理しやすくなります。
第3ステップは、実際の負荷試験を行うことです。
少なくとも3種類の負荷を測定します。
- ピーク並行数における P50、P95 レイテンシー
- 持続スループットとトークン消費
- ツール呼び出しの失敗、再試行、タスク完了の状況
第4ステップは、実際の請求を基に改めてコストを計算することです。
価格には、サプライヤーが提示する単価だけを使うのではありません。社内タスクで実際に発生した入力、出力、キャッシュ、再試行トークンから計算します。レート制限、一括割引、地域展開、コンテキストキャッシュ戦略も含める必要があります。
再現性のある基本的な絞り込みスクリプトでは、まず公開評価データを統一形式で受け取れます。
from dataclasses import dataclass
@dataclass
class ModelCost:
name: str
quality_score: float
output_price_per_million: float
tokens_per_second: float
def shortlist(
models: list[ModelCost],
min_quality: float,
max_price: float,
min_speed: float,
) -> list[ModelCost]:
return [
model
for model in models
if model.quality_score >= min_quality
and model.output_price_per_million <= max_price
and model.tokens_per_second >= min_speed
]
models = [
ModelCost("model-a", 78.0, 1.50, 95.0),
ModelCost("model-b", 81.0, 4.00, 70.0),
]
result = shortlist(
models,
min_quality=75.0,
max_price=2.0,
min_speed=80.0,
)
for model in result:
print(model.name)
このコードはしきい値による絞り込みにすぎず、完全な評価ではありません。品質、価格、速度を無理に1つの総合スコアへまとめることを意図的に避けています。企業ではまず制約を設定し、絞り込んだ少数の候補について社内タスクでテストする必要があります。
編集者の見解
Intelligence Index v5 の最大の価値は、モデルの順位を並べ替えることよりも、調達チームと開発チームに統一された議論の言語を提供することにあると考えられます。品質、価格、速度が、不可解な総合スコールの裏に隠されなくなりました。従来の一般的なランキングと違うのは、設問をまたいで更新した点ではなく、能力の比較に運用コストを取り込むようになった点です。
判断は慎重にしています。フレームワークが統一されるほど、企業は統一フレームワークそのものを簡略化である事実を忘れがちです。v5 の重みを誰が決めたか、テストセットがどの能力をカバーしているか、モデルバージョンをいつ固定したかはいずれも順位に影響します。現在のサマリーには具体的な重みとスコアの変化がないため、「某モデルが首位を返した」という結論は、原文のデータが揃うまで待つべきです。
AI Agent にとって次の一手は、公開ランキングを追うことだけではありません。失敗の軌跡、実レイテンシー、請求を結び付けて評価することです。企業,购买 するのはより高い benchmark スコアではなく、より安定したタスク完了率と、より低い成功タスク単位のコストです。