大模型排行榜最容易被誤讀。
本文拆解 Intelligence Index v5 的評測維度、成本計算與 Agent 軌跡評估,協助技術負責人建立可實際執行的選模流程。
Intelligence Index v5 深度解讀:企業選模不能只看總分
Artificial Analysis 最近發布 Intelligence Index v5。這不是一款新模型,而是評測基準與排名框架的第五次更新,用來橫向比較不同大模型的能力與使用成本。
這次更新登上 Hacker News 首頁時,獲得 54 分與 61 則留言。開發者關心的不只是「誰排第幾」,而是這些排名能否跨模型比較,以及能否幫助團隊做出切合实际的選型決策。
先說明一項限制:目前提供的新聞摘要未列出 v5 的具體模型排名、指標權重與分數變化。可以確定的是,框架已進行升級,並比較推理品質、輸出價格與回應速度三個維度。詳細權重與模型名次仍需回到原文查核。
v5 不是一張全新成績單
Intelligence Index v5 屬於評測框架升級,並非單一模型的發布。
如果它只是換了一套題目、重跑模型並公布新榜單,我們頂多得到一張有時效限制的成績單。框架升級更接近重新定義「該如何比較」。
過去常見的模型排行榜,往往把能力壓縮成一個整數。雖然方便,卻也造成大量資訊損失。
某個模型可能擅長推理題,價格卻不適合高頻呼叫;另一個模型總分略低,輸出速度卻更快,接入客服 AI Agent 後反而更穩定。榜單若只提供最終排名,採購團隊仍得自行拆解數據。
v5 至少將比較推進至能力與成本並列的層次。Artificial Analysis 的文章摘要明確指出,這一版旨在橫向比較不同大模型的能力與使用成本。
原始來源:Artificial Analysis 的 Intelligence Index v5 文章。
HN 的 54 分與 61 則留言也提供了一項旁證:開發者樂於討論榜單,但討論重點是可比性。
總分掩蓋了採購成本
企業選模型,至少要拆開三個問題:
- 推理品質如何?
- 輸出價格多少?
- 回應速度是否夠快?
這三項合併成單一總分後,排名看似簡潔,採購決策卻未必更簡單。
假設兩個模型僅相差幾分,但其中一個便宜 80%,另一個的首個 token 延遲低一半。對每天執行數百萬次呼叫的 AI Agent 而言,這項差距可能比幾分的能力差異更重要。
品質與價格之間的交換關係也並非固定。高頻、範圍明確且失敗代價高的任務,與一次性研究任務,適合的成本曲線可能完全不同。
低分但便宜的模型,不等於低價值模型。它可能不適合處理榜單中的難題,卻很適合執行分類、抽取、改寫與路由等重複性工作。在 Agent 的主循環中,大量請求並不是要「解答一道智力題」,而是把模型當作一個不穩定但可呼叫的執行器。
因此,我查看 Intelligence Index v5 時,不會先看榜首。我會先確認這三個維度在企業自身的呼叫結構下代表什麼。
例如,客服 Agent 每天處理 20 萬輪對話,每輪需要 2,000 個輸入 token 與 300 個輸出 token。即使兩個模型的榜單能力相近,輸出單價乘上呼叫量後,帳單差異也會直接反映在季度預算中。
如果目前的新聞摘要未列出各模型的實際價格,就不應根據名次推測誰比較便宜。榜單框架能提供統一入口,最終仍須以供應商帳單與真實 token 用量核對。
AI Agent 必須依軌跡評估
這是 v5 最容易被忽略,卻對企業最重要的一層。
靜態 benchmark 測試的是「一次回答」,AI Agent 完成的則是一連串動作:理解目標、呼叫工具、讀取結果、察覺偏差,再決定重試或結束。
模型第一次選錯工具,不會讓整項任務立即失敗。系統可能進入重試迴圈:多消耗 token,多等待數秒,最後仍交付錯誤結果。
榜單分數與真實任務完成率之間,可能隔著數個工程問題:
- 工具描述是否清楚?
- 參數格式是否穩定?
- 上下文是否塞入無關資訊?
- 失敗後應重試、換模型,還是交由人員處理?
- 能否可靠擷取逾時與錯誤狀態?
這些問題不會因為換成更高分的模型就自動解決。
我見過的典型專案中,榜單第一名的模型完成率為 82%,第二名則是 88%,但最終生產環境選擇了第二名。原因在於第一名的工具呼叫格式較不穩定,導致更多解析失敗與人工接管。
真正需要測量的是軌跡,而不只是最終答案。
至少應記錄四項指標:
- 任務完成率
- 平均工具呼叫次數
- 失敗重試率
- 單個成功任務的端到端成本
其中最後一項最具採購價值。它將 token 消耗、延遲、基礎設施費用與人工接管成本納入相同口徑。
若一個便宜模型每項任務都需要重試 4 次,其總成本未必低於單價高出 3 倍、卻能一次成功的模型。
把 Index 當篩選器,而非裁判
我不會將 Intelligence Index v5 視為企業選模的最終答案。更合理的定位是候選模型篩選器。
第一步:依業務任務建立內部測試集。
不要直接複製公開 benchmark。應將真實任務去識別化後,整理成數百條可重複執行的樣本,例如客服工單、程式碼修改、資料抽取、報表生成,或 LangGraph 中的路由與工具呼叫。
每條樣本都要有明確的驗收條件。尤其應記錄中間失敗事件,而非只檢查最終文字。
第二步:使用 v5 縮小候選範圍。
先排除明顯不符合品質、速度或預算限制的模型,再保留少量候選。這個階段採用統一框架比較,比各團隊依個人偏好試用模型更可控。
第三步:執行真實壓力測試。
至少測試三組負載:
- 峰值併發下的 P50、P95 延遲
- 持續吞吐量與 token 消耗
- 工具呼叫失敗、重試與任務完成情況
第四步:依真實帳單重新核算成本。
價格不能只看供應商提供的單價。應以內部任務實際產生的輸入、輸出、快取與重試 token 計算,並納入速率限制、批次折扣、區域部署與上下文快取策略。
以下是一個簡單且可重現的篩選腳本,可先用統一格式接收公開評分資料:
from dataclasses import dataclass
@dataclass
class ModelCost:
name: str
quality_score: float
output_price_per_million: float
tokens_per_second: float
def shortlist(
models: list[ModelCost],
min_quality: float,
max_price: float,
min_speed: float,
) -> list[ModelCost]:
return [
model
for model in models
if model.quality_score >= min_quality
and model.output_price_per_million <= max_price
and model.tokens_per_second >= min_speed
]
models = [
ModelCost("model-a", 78.0, 1.50, 95.0),
ModelCost("model-b", 81.0, 4.00, 70.0),
]
result = shortlist(
models,
min_quality=75.0,
max_price=2.0,
min_speed=80.0,
)
for model in result:
print(model.name)
這段程式碼僅執行門檻篩選,並非完整評測。它刻意不將品質、價格與速度硬性壓縮成單一總分。企業應先設定限制,再對少量候選模型執行內部任務測試。
編輯觀點
我認為 Intelligence Index v5 最大的價值未必在於重新排列模型,而是為採購與研發團隊提供一套統一的討論語言:品質、價格與速度不再被神秘的總分遮蔽。它不同於過往一般排行榜的地方,不是換了另一批題目,而是開始將使用成本納入能力比較。
我的判斷較為謹慎:框架越統一,企業越容易忽略統一框架本身就是一種簡化。v5 的權重由誰定義、測試集涵蓋哪些能力,以及模型版本在何時固定,都會影響排名。目前摘要又缺少具體權重與分數變化,因此任何「某模型已反超」的結論,都應等待原文數據完整公布。
對 AI Agent 而言,下一步不只是持續追逐公開排行榜,而是將失敗軌跡、真實延遲與帳單串接起來評估。企業真正要採購的,不是更高的 benchmark 分數,而是更穩定的任務完成率,以及更低的成功任務成本。