框架

Intelligence Index v5 深度解析:企业选模别只看分数

Artificial Analysis 更新 Intelligence Index v5。本文拆解评测维度、成本计算与 Agent 轨迹评估,并给出企业筛选模型的四步流程。

字号

大模型榜单最容易被误读。

本文拆解 Intelligence Index v5 的评测维度、成本计算和 Agent 轨迹评估,帮助技术负责人建立可执行的选模流程。

Artificial Analysis 最近发布 Intelligence Index v5。它不是新模型,而是评测基准与排名框架的第五次更新,用来横向比较不同大模型的能力和使用成本。

这次更新登上 Hacker News 首页时,获得 54 分和 61 条评论。开发者关心的不只“谁排第几”,而是这些排名能不能跨模型比较,能不能帮助团队做实际选型。

先说明一个限制:当前提供的新闻摘要没有列出 v5 的具体模型排名、指标权重和分数变化。下面能确认的是框架升级,以及它比较推理质量、输出价格和响应速度这三个维度。具体权重和模型名次,仍需回到原文核实。

v5 不是一张新成绩单

Intelligence Index v5 属于评测框架升级,不是单模型发布。

如果它只是换了一套题、重跑了一遍模型,然后给出新榜单,我们最多得到一张有时间限制的成绩单。框架升级更接近重新定义“怎样比较”。

过去常见的模型榜单,往往把能力压缩成一个整数。方便,但信息损失很大。

一个模型可能推理题做得好,价格却不适合高频调用。另一个模型总分略低,输出速度更快,接进客服 AI Agent 后反而更稳。榜单如果只提供最终排名,采购团队还得自行拆解数据。

v5 至少把比较推进到了能力与成本并置的层面。Artificial Analysis 的文章摘要明确表示,这一版用于横向比较不同大模型的能力与使用成本。

原始来源:Artificial Analysis 的 Intelligence Index v5 文章。

HN 的 54 分和 61 条评论也提供了一个旁证:开发者愿意讨论榜单,但讨论重点是可比性。

总分掩盖了采购成本

企业选模型,至少要把三个问题拆开:

  1. 推理质量怎么样?
  2. 输出价格是多少?
  3. 响应速度够不够快?

这三项放进同一个总分后,排名会显得简洁,采购决策却未必更简单。

假设两个模型只差几分,但一个便宜 80%,另一个首 token 延迟低一半。面对每天几百万次调用的 AI Agent,这个差距可能比那几分能力更重要。

质量和价格的交换关系也不是固定的。高频、结构明确、失败代价高的任务,和一次性研究任务,适合的成本曲线可能完全不同。

低分但便宜的模型,不等于低价值模型。它可能不适合做榜单里的难题,却适合处理分类、抽取、改写、路由等重复工作。Agent 的主循环里,大量请求并不是“回答一个智力题”,而是把模型当作一个不稳定但可调用的执行器。

所以我看 Intelligence Index v5 时,不会先看榜首。我会先看三个维度在企业自己的调用结构下意味着什么。

例如,客服 Agent 每天处理 20 万轮对话,每轮需要 2,000 token 输入、300 token 输出。即使两个模型的榜单能力相近,输出单价乘上调用量后,账单差异也会直接进入季度预算。

如果当前新闻摘要没有列出各模型的实际价格,就不应该根据名次猜谁更便宜。榜单框架能提供统一入口,但最后仍要用供应商账单和真实 token 用量核对。

AI Agent 需要按轨迹评估

这是 v5 最容易被忽略、但对企业最重要的一层。

静态 benchmark 测的是“一次回答”。AI Agent 完成的是一串动作:理解目标,调用工具,读取结果,发现偏差,再决定重试还是结束。

模型第一次选错工具,不会让整个任务立即失败。系统可能进入重试循环:多花 token,多等几秒,最后仍然交付错误结果。

榜单分数与真实任务完成率之间,可能隔着几个工程问题:

  • 工具描述是否清楚?
  • 参数格式是否稳定?
  • 上下文是否塞进了无关信息?
  • 失败后是重试、换模型,还是交给人?
  • 超时和错误状态能不能被可靠捕获?

这些不是换一个更高分的模型就能自动解决。

我见过的典型项目是:榜单第一名模型完成率为 82%,第二名是 88%。最终生产环境却选了第二名。因为第一名的工具调用格式更飘,触发了更多解析失败和人工接管。

真正应该测的是轨迹,而不只是最终答案。

至少记录四个指标:

  • 任务完成率
  • 平均工具调用次数
  • 失败重试率
  • 单个成功任务的端到端成本

其中最后一个最有采购价值。它把 token 消耗、延迟、基础设施费用和人工接管成本放在同一个口径里。

一个便宜模型如果每次任务需要 4 次重试,未必比单价高 3 倍但一次成功的模型更便宜。

把 Index 当筛选器,不当裁判

我不会把 Intelligence Index v5 当成企业选模的最终答案。更合理的定位是:候选模型筛选器。

第一步,按业务任务建立内部集。

不要直接复制公开 benchmark。把真实任务脱敏后做成几百条可重复执行的样本:客服工单、代码修改、数据抽取、报表生成,或者 LangGraph 中的路由与工具调用。

每条样本都要有明确验收条件。尤其要记录中间失败,而不是只看最终文本。

第二步,用 v5 缩小候选范围。

先排除明显不符合质量、速度或预算约束的模型,再保留少量候选。这个阶段用统一框架比较,比各团队凭偏好试模型更可控。

第三步,跑真实压测。

至少测三组负载:

  • 峰值并发下的 P50、P95 延迟
  • 持续吞吐与 token 消耗
  • 工具调用失败、重试和任务完成情况

第四步,按真实账单重新算账。

价格不能只看供应商给出的单价。要用内部任务实际产生的输入、输出、缓存和重试 token 计算。速率限制、批量折扣、区域部署和上下文缓存策略也要算进去。

一个简单可复现的筛选脚本,可以先用统一格式接收公开评分数据:

from dataclasses import dataclass

@dataclass
class ModelCost:
    name: str
    quality_score: float
    output_price_per_million: float
    tokens_per_second: float

def shortlist(
    models: list[ModelCost],
    min_quality: float,
    max_price: float,
    min_speed: float,
) -> list[ModelCost]:
    return [
        model
        for model in models
        if model.quality_score >= min_quality
        and model.output_price_per_million <= max_price
        and model.tokens_per_second >= min_speed
    ]

models = [
    ModelCost("model-a", 78.0, 1.50, 95.0),
    ModelCost("model-b", 81.0, 4.00, 70.0),
]

result = shortlist(
    models,
    min_quality=75.0,
    max_price=2.0,
    min_speed=80.0,
)

for model in result:
    print(model.name)

这段代码只是阈值筛选,不是完整评测。它故意没有把质量、价格和速度硬压成一个总分。企业应该先设约束,再对少量候选做内部任务测试。

编辑思考

我认为 Intelligence Index v5 最大的价值,未必是重排模型,而是给采购和研发团队提供一套统一讨论语言:质量、价格、速度不再被一个神秘总分遮住。它和过去普通榜单不同的地方,不是又换了一批题,而是开始把使用成本纳入能力比较。

我的判断更偏谨慎:框架越统一,企业越容易忘记统一框架本身就是一种简化。v5 的权重由谁定义、测试集覆盖哪些能力、模型版本何时固定,都会影响名次。当前摘要又缺少具体权重和分数变化,因此任何“某模型已反超”的结论都应等原文数据补齐。

对 AI Agent 来说,下一步不只是继续追公开榜,而是把失败轨迹、真实延迟和账单连起来评估。企业真正要买的不是一个更高的 benchmark 分数,而是更稳定的任务完成率和更低的成功任务成本。

来源: https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5