大模型

Gemini 4 Neon 登顶 MEI:工程榜不是跑分榜

Gemini 4 Neon 升至 Models Engineering Index 第一。本文拆解 MEI 的任务设计、评分方式与争议,并给出一套可落地的模型选型流程。

字号

Gemini 4 Neon 升至 Models Engineering Index 第一。本文拆解 MEI 的任务设计、评分方式与争议,并给出一套可落地的模型选型流程。

登顶不等于全能第一

原文标题很直接:Gemini 4 Neon is the new #1 on the Models Engineering Index。

这句话很容易被转写成“Gemini 4 Neon 登顶模型榜”。这会丢掉最重要的限定词——Engineering。

传统 benchmark 经常把模型能力压缩成一个数字:固定数据集、固定题目、固定打分方式。跑分高,通常说明模型在某类任务上表现好。但生产系统关心的东西更多:

  • 能否正确调用工具;
  • 是否严格遵守输出格式;
  • 长任务中是否丢失约束;
  • 失败后能否根据报错修正;
  • 响应时间与调用成本是否可接受。

这些能力很难塞进一道选择题。

所以,Gemini 4 Neon 登顶 MEI,能说明的是它在榜单覆盖的工程任务上综合表现最好,不能直接外推成“全能第一”。这不是给结论降温,而是把结论放回指标边界内。

MEI 到底测了什么

MEI 榜单地址:https://git-aarvin.github.io/mei/

Models Engineering Index 使用的不是静态题库,而是持续更新的工程任务。其设计可以拆成四层来看。

1. 任务从“答对”变成“交付”

工程任务往往不是一次生成就结束。模型需要读输入、调用工具、检查结果、处理错误,再按约束交付结果。

这种任务更接近 AI Agent 的工作方式。最终是否成功,也不再只由文本相似度决定,而是看端到端流程有没有完成。

2. 指标从单一分数变成多项约束

一个模型可能代码写得好,却总忘记按指定 schema 返回;也可能答案正确,但输出长度失控。工程评测必须把这些因素拆开,否则总分很容易掩盖具体短板。

对生产团队来说,这些维度比“某套人类考试题得分高几个点”更直接:

  • 成功率;
  • 格式遵循率;
  • 工具调用准确率;
  • 延迟;
  • token 与实际调用成本;
  • 重试后的收敛情况。

3. 任务集会变化

静态 benchmark 公开后容易逐渐失效。研究者会调 prompt,厂商会筛选样例,训练数据也可能混入测试题。久而久之,分数上涨不一定等于能力上涨。

持续更新的工程任务可以缓解这类污染。它不一定彻底解决问题,但至少让评测从一次性考试,逐渐变成持续回归测试。

当然,动态任务也会带来新问题:不同时间运行的结果能否复现?评分程序是否足够稳定?失败是否来自模型,而不是工具、网络或随机性?

这正是 MEI 值得继续观察的地方。

4. 提示词和样例仍然会干预结果

再像生产环境的任务,也仍然是评测者设计的任务。

如果任务说明过长,测到的可能更接近模型的长上下文遵循能力。如果样例只覆盖一种表达方式,换一种措辞后成功率可能下降。如果 system prompt 被固定成某种风格,其他模型也未必得到公平发挥空间。

所以,MEI 中哪些任务来自真实工作流,哪些经过人工简化;权重如何确定;失败案例是否公开;同一模型重复运行能稳定得到多少分——这些都直接影响榜单可信度。

榜名的“Engineering”描述了方向,不会自动保证方法论无懈可击。

104 分争议暴露了什么

这条 Hacker News 首页内容显示 104 points 和 52 条评论。

原文评论地址:https://news.ycombinator.com/item?id=50568130

104 分说明开发者愿意讨论。52 条评论则说明争议不是“大家一致点赞”。高讨论度不等于高可信度。

这类工程榜单天然会触发几个问题:

  • 排名是否过度依赖一个综合分?
  • 权重有没有公开、能不能调整?
  • Gemini 4 Neon 是稳定领先,还是某几项任务贡献了绝大部分优势?
  • 榜单运行成本多高?普通团队能否复现?
  • 排名会不会因为题集更新而频繁变化?

工程评测比静态跑分复杂,也因此更需要透明。公开指标、原始结果、运行日志和版本历史,重要性不低于总分。

如果只能看到“#1”,却看不到每个子项、置信区间和重复运行波动,讨论很容易围绕品牌立场展开,而不是围绕方法本身。

为什么工程榜可能更有用

静态 benchmark 像一次闭卷考试。工程榜更像 CI 流水线里的回归测试。

后者更贴近生产环境,主要不是因为题目“更高级”,而是因为评价对象变了。

生产里的 LLM 或 AI Agent 很少只回答问题。典型链路是:

用户请求 → 模型判断 → 调用工具 → 校验结果 → 修正错误 → 结构化返回

模型输出只是链路的一环。工具参数写错一个小字段,整个流程就可能失败;页面和文档格式不稳定,后端解析就会报错;能力够用但延迟太高,用户也不会等。

因此,价格、延迟、工具调用和格式遵循不是“附加体验”,而是工程能力的一部分。

MEI 的价值在于,它迫使评测者承认:模型评测不能只看答案质量。一个分数再高,如果每次调用贵 10 倍、延迟多 3 秒,或者一半输出无法直接进入系统,它也未必是更好的模型。

不过,榜本能接近生产,不代表你的生产问题已经被覆盖。不同团队的工作流差异很大:

  • RAG 系统关注召回后的引用准确性和无答案处理;
  • 编程 Agent 关注仓库级修改、测试通过率和上下文管理;
  • 客服 Agent 关注状态保持、工具权限和异常升级;
  • 多模态应用还要加入 OCR、图像理解和延迟约束。

MEI 可以提供共同语言,不能替代你自己的验收集。

别急着宣布新标准

单一总榜有一个明显风险:它会制造“唯一冠军”。

但模型差异不是一条直线。某个模型可能更会遵循格式,另一些模型更擅长代码修改;一个模型适合高频短任务,另一个可能适合低频复杂任务。即使 Gemini 4 Neon 在 MEI 第一,你也不能仅凭总榜决定全部业务都切过去。

更稳妥的选型方法是建立自己的任务集。可以先从真实历史请求里抽 100 到 300 个样本,再记录这些指标:

指标 记录方式
成功率 通过业务验收的请求数 / 总请求数
格式遵循率 符合 schema 的输出数 / 总输出数
工具调用准确率 参数正确且副作用正确的调用数 / 总调用数
修复成功率 首次失败后重试成功的比例
单次成功成本 输入、输出及重试费用之和
P95 延迟 从请求发出到验收通过的耗时
失败类型 幻觉、漏调用、格式错误、超时等分类

然后让候选模型使用同一提示词、同一工具和同一评分器运行。失败样本逐条看,不要只看平均分。

一个平均分 90%、但关键工具调用只有 70% 的模型,不适合支付流程。一个稍慢的模型,如果能稳定执行退款规则,可能反而更便宜。

编辑思考

MEI 最重要的价值,可能不是选出唯一冠军,而是推动模型评测从一次性考试转向可重复的工程回归测试。Gemini 4 Neon 升至第一,给这个方向带来了外部关注;104 points 和 52 条评论也说明,开发者仍在追问方法透明度。

我更看好“可更新任务集 + 明细指标 + 失败样本”,而不是一个醒目的总排名。它和过去的静态 benchmark 不同:不再假设一套题能永久代表能力,而是持续观察模型在工具调用、格式遵循和成本约束下是否还能工作。

不确定也很明确。目前还看不到 MEI 能在多大程度上消除样例污染,也无法确认综合权重是否适合不同业务。短期看,它更像一张有参考价值的体检单。长期是否能成为选型标准,要看任务更新是否公开、评分是否可复现,以及团队是否愿意把真实失败案例放回评测体系。

来源

https://git-aarvin.github.io/mei/

来源: https://git-aarvin.github.io/mei/