Gemini 4 Neon 升至 Models Engineering Index 第一。本文拆解 MEI 的任务设计、评分方式与争议,并给出一套可落地的模型选型流程。
登顶不等于全能第一
原文标题很直接:Gemini 4 Neon is the new #1 on the Models Engineering Index。
这句话很容易被转写成“Gemini 4 Neon 登顶模型榜”。这会丢掉最重要的限定词——Engineering。
传统 benchmark 经常把模型能力压缩成一个数字:固定数据集、固定题目、固定打分方式。跑分高,通常说明模型在某类任务上表现好。但生产系统关心的东西更多:
- 能否正确调用工具;
- 是否严格遵守输出格式;
- 长任务中是否丢失约束;
- 失败后能否根据报错修正;
- 响应时间与调用成本是否可接受。
这些能力很难塞进一道选择题。
所以,Gemini 4 Neon 登顶 MEI,能说明的是它在榜单覆盖的工程任务上综合表现最好,不能直接外推成“全能第一”。这不是给结论降温,而是把结论放回指标边界内。
MEI 到底测了什么
MEI 榜单地址:https://git-aarvin.github.io/mei/
Models Engineering Index 使用的不是静态题库,而是持续更新的工程任务。其设计可以拆成四层来看。
1. 任务从“答对”变成“交付”
工程任务往往不是一次生成就结束。模型需要读输入、调用工具、检查结果、处理错误,再按约束交付结果。
这种任务更接近 AI Agent 的工作方式。最终是否成功,也不再只由文本相似度决定,而是看端到端流程有没有完成。
2. 指标从单一分数变成多项约束
一个模型可能代码写得好,却总忘记按指定 schema 返回;也可能答案正确,但输出长度失控。工程评测必须把这些因素拆开,否则总分很容易掩盖具体短板。
对生产团队来说,这些维度比“某套人类考试题得分高几个点”更直接:
- 成功率;
- 格式遵循率;
- 工具调用准确率;
- 延迟;
- token 与实际调用成本;
- 重试后的收敛情况。
3. 任务集会变化
静态 benchmark 公开后容易逐渐失效。研究者会调 prompt,厂商会筛选样例,训练数据也可能混入测试题。久而久之,分数上涨不一定等于能力上涨。
持续更新的工程任务可以缓解这类污染。它不一定彻底解决问题,但至少让评测从一次性考试,逐渐变成持续回归测试。
当然,动态任务也会带来新问题:不同时间运行的结果能否复现?评分程序是否足够稳定?失败是否来自模型,而不是工具、网络或随机性?
这正是 MEI 值得继续观察的地方。
4. 提示词和样例仍然会干预结果
再像生产环境的任务,也仍然是评测者设计的任务。
如果任务说明过长,测到的可能更接近模型的长上下文遵循能力。如果样例只覆盖一种表达方式,换一种措辞后成功率可能下降。如果 system prompt 被固定成某种风格,其他模型也未必得到公平发挥空间。
所以,MEI 中哪些任务来自真实工作流,哪些经过人工简化;权重如何确定;失败案例是否公开;同一模型重复运行能稳定得到多少分——这些都直接影响榜单可信度。
榜名的“Engineering”描述了方向,不会自动保证方法论无懈可击。
104 分争议暴露了什么
这条 Hacker News 首页内容显示 104 points 和 52 条评论。
原文评论地址:https://news.ycombinator.com/item?id=50568130
104 分说明开发者愿意讨论。52 条评论则说明争议不是“大家一致点赞”。高讨论度不等于高可信度。
这类工程榜单天然会触发几个问题:
- 排名是否过度依赖一个综合分?
- 权重有没有公开、能不能调整?
- Gemini 4 Neon 是稳定领先,还是某几项任务贡献了绝大部分优势?
- 榜单运行成本多高?普通团队能否复现?
- 排名会不会因为题集更新而频繁变化?
工程评测比静态跑分复杂,也因此更需要透明。公开指标、原始结果、运行日志和版本历史,重要性不低于总分。
如果只能看到“#1”,却看不到每个子项、置信区间和重复运行波动,讨论很容易围绕品牌立场展开,而不是围绕方法本身。
为什么工程榜可能更有用
静态 benchmark 像一次闭卷考试。工程榜更像 CI 流水线里的回归测试。
后者更贴近生产环境,主要不是因为题目“更高级”,而是因为评价对象变了。
生产里的 LLM 或 AI Agent 很少只回答问题。典型链路是:
用户请求 → 模型判断 → 调用工具 → 校验结果 → 修正错误 → 结构化返回
模型输出只是链路的一环。工具参数写错一个小字段,整个流程就可能失败;页面和文档格式不稳定,后端解析就会报错;能力够用但延迟太高,用户也不会等。
因此,价格、延迟、工具调用和格式遵循不是“附加体验”,而是工程能力的一部分。
MEI 的价值在于,它迫使评测者承认:模型评测不能只看答案质量。一个分数再高,如果每次调用贵 10 倍、延迟多 3 秒,或者一半输出无法直接进入系统,它也未必是更好的模型。
不过,榜本能接近生产,不代表你的生产问题已经被覆盖。不同团队的工作流差异很大:
- RAG 系统关注召回后的引用准确性和无答案处理;
- 编程 Agent 关注仓库级修改、测试通过率和上下文管理;
- 客服 Agent 关注状态保持、工具权限和异常升级;
- 多模态应用还要加入 OCR、图像理解和延迟约束。
MEI 可以提供共同语言,不能替代你自己的验收集。
别急着宣布新标准
单一总榜有一个明显风险:它会制造“唯一冠军”。
但模型差异不是一条直线。某个模型可能更会遵循格式,另一些模型更擅长代码修改;一个模型适合高频短任务,另一个可能适合低频复杂任务。即使 Gemini 4 Neon 在 MEI 第一,你也不能仅凭总榜决定全部业务都切过去。
更稳妥的选型方法是建立自己的任务集。可以先从真实历史请求里抽 100 到 300 个样本,再记录这些指标:
| 指标 | 记录方式 |
|---|---|
| 成功率 | 通过业务验收的请求数 / 总请求数 |
| 格式遵循率 | 符合 schema 的输出数 / 总输出数 |
| 工具调用准确率 | 参数正确且副作用正确的调用数 / 总调用数 |
| 修复成功率 | 首次失败后重试成功的比例 |
| 单次成功成本 | 输入、输出及重试费用之和 |
| P95 延迟 | 从请求发出到验收通过的耗时 |
| 失败类型 | 幻觉、漏调用、格式错误、超时等分类 |
然后让候选模型使用同一提示词、同一工具和同一评分器运行。失败样本逐条看,不要只看平均分。
一个平均分 90%、但关键工具调用只有 70% 的模型,不适合支付流程。一个稍慢的模型,如果能稳定执行退款规则,可能反而更便宜。
编辑思考
MEI 最重要的价值,可能不是选出唯一冠军,而是推动模型评测从一次性考试转向可重复的工程回归测试。Gemini 4 Neon 升至第一,给这个方向带来了外部关注;104 points 和 52 条评论也说明,开发者仍在追问方法透明度。
我更看好“可更新任务集 + 明细指标 + 失败样本”,而不是一个醒目的总排名。它和过去的静态 benchmark 不同:不再假设一套题能永久代表能力,而是持续观察模型在工具调用、格式遵循和成本约束下是否还能工作。
不确定也很明确。目前还看不到 MEI 能在多大程度上消除样例污染,也无法确认综合权重是否适合不同业务。短期看,它更像一张有参考价值的体检单。长期是否能成为选型标准,要看任务更新是否公开、评分是否可复现,以及团队是否愿意把真实失败案例放回评测体系。
来源
https://git-aarvin.github.io/mei/