大型語言模型

Gemini 4 Neon 登頂 MEI:工程能力榜不等同跑分榜

Gemini 4 Neon 登上 Models Engineering Index 首位,但這項成績不等於模型在所有場景都最出色。本文分析 MEI 的任務設計、評分方法與外界争议,並提出一套可實際套用的模型選型流程。

字級

Gemini 4 Neon 升至 Models Engineering Index 第一。本文拆解 MEI 的任務設計、評分方式與争议,並給出一套可落地的模型選型流程。

登頂不等於全能第一

原文標題很直接:Gemini 4 Neon is the new #1 on the Models Engineering Index。

這句話很容易被轉寫成「Gemini 4 Neon 登頂模型榜」。這會丟掉最重要的限定詞——Engineering。

傳統 benchmark 經常把模型能力壓縮成一個數字:固定資料集、固定題目、固定打分方式。跑分高,通常說明模型在某類任務上表現好。但生產系統關心的東西更多:

  • 能否正確呼叫工具;
  • 是否嚴格遵守輸出格式;
  • 長任務中是否遺失約束;
  • 失敗後能否根據報錯修正;
  • 回應時間與呼叫成本是否可接受。

這些能力很難塞進一道選擇題。

所以,Gemini 4 Neon 登頂 MEI,能說明的是它在榜單涵蓋的工程任務上綜合表現最好,不能直接外推成「全能第一」。這不是替結論降溫,而是把結論放回指標邊界內。

MEI 到底測了什麼

MEI 榜單網址:https://git-aarvin.github.io/mei/

Models Engineering Index 使用的不是靜態題庫,而是持續更新的工程任務。其設計可以拆成四層來看。

1. 任務從「答對」變成「交付」

工程任務往往不是一次生成就結束。模型需要讀取輸入、呼叫工具、檢查結果、處理錯誤,再依約束交付結果。

這種任務更接近 AI Agent 的工作方式。最終是否成功,也不再只由文字相似度決定,而是看端到端流程有沒有完成。

2. 指標從單一分數變成多項約束

一個模型可能程式碼寫得好,卻總忘記按指定 schema 回傳;也可能答案正確,但輸出長度失控。工程評測必須把這些因素拆開,否則總分很容易掩蓋具體短板。

對生產團隊來說,這些維度比「某套人類考試題得分高幾個點」更直接:

  • 成功率;
  • 格式遵循率;
  • 工具呼叫準確率;
  • 延遲;
  • token 與實際呼叫成本;
  • 重試後的收斂情況。

3. 任務集會變化

靜態 benchmark 公開後容易逐漸失效。研究者會調整 prompt,廠商會篩選樣例,訓練資料也可能混入測試題。時間一久,分數上升不一定等於能力上升。

持續更新的工程任務可以緩解這類污染。它不一定徹底解決問題,但至少讓評測從一次性考試,逐漸變成持續的回歸測試。

當然,動態任務也會帶來新問題:不同時間執行的結果能否重現?評分程式是否足夠穩定?失敗是否來自模型,而不是工具、網路或隨機性?

這正是 MEI 值得持續觀察的地方。

4. 提示詞和樣例仍然會干預結果

再像生產環境的任務,也仍然是評測者設計的任務。

如果任務說明過長,測到的可能更接近模型的長上下文遵循能力。如果樣例只涵蓋一種表達方式,換一種措辭後成功率可能下降。如果 system prompt 被固定成某種風格,其他模型也未必有公平發揮的空間。

所以,MEI 中哪些任務來自真實工作流程,哪些經過人工簡化;權重如何確定;失敗案例是否公開;同一模型重複執行能穩定得到多少分——這些都會直接影響榜單可信度。

榜名的「Engineering」描述的是方向,不會自動保證方法論無懈可擊。

104 分的争议揭露了什麼

這則 Hacker News 首頁內容顯示 104 points 和 52 則留言。

原文留言網址:https://news.ycombinator.com/item?id=50568130

104 分說明開發者願意討論。52 則留言則說明爭議不是「大家一致按讚」。高討論度不等於高可信度。

這類工程榜單天然會引發幾個問題:

  • 排名是否過度依賴一個綜合分?
  • 權重是否公開、能不能調整?
  • Gemini 4 Neon 是穩定領先,還是某幾項任務貢獻了絕大部分優勢?
  • 榜單執行成本多高?一般團隊能否重現?
  • 排名會不會因為題集更新而頻繁變化?

工程評測比靜態跑分複雜,因此也更需要透明。公開指標、原始結果、執行紀錄和版本歷史,其重要性不低於總分。

如果只能看到「#1」,卻看不到每個子項、信賴區間和重複執行的波動,討論很容易圍繞品牌立場展開,而不是聚焦於方法本身。

為什麼工程榜可能更有用

靜態 benchmark 像一次閉卷考試。工程榜則更像 CI 流水線裡的回歸測試。

後者更貼近生產環境,主要不是因為題目「更進階」,而是因為評價對象改變了。

生產環境中的 LLM 或 AI Agent 很少只回答問題。典型流程如下:

使用者請求 → 模型判斷 → 呼叫工具 → 驗證結果 → 修正錯誤 → 結構化回傳

模型輸出只是流程中的一環。工具參數寫錯一個小欄位,整個流程就可能失敗;頁面和文件格式不穩定,後端解析就會出錯;能力足夠但延遲太高,使用者也不會等。

因此,價格、延遲、工具呼叫和格式遵循不是「額外體驗」,而是工程能力的一部分。

MEI 的價值在於,它迫使評測者承認:模型評測不能只看答案品質。一個分數再高,如果每次呼叫貴 10 倍、延遲多 3 秒,或者一半輸出無法直接進入系統,它也未必是更好的模型。

不過,榜本能接近生產環境,不代表你的生產問題已經被涵蓋。不同團隊的工作流程差異很大:

  • RAG 系統關注召回後的引用準確性與無答案處理;
  • 程式設計 Agent 關注 repository 層級的修改、測試通過率與上下文管理;
  • 客服 Agent 關注狀態保持、工具權限與異常升級;
  • 多模態應用還要加入 OCR、圖像理解與延遲限制。

MEI 可以提供共同語言,但不能取代自己的驗收集。

別急著宣布新標準

單一總榜有一個明顯風險:它會製造出「唯一冠軍」。

但模型差異不是一條直線。某個模型可能更擅長遵循格式,另一些模型更擅長修改程式碼;一個模型適合高频短任務,另一個可能適合低頻複雜任務。即使 Gemini 4 Neon 在 MEI 排名第一,也不能只憑總榜就決定所有業務都切換過去。

更穩妥的選型方法是建立自己的任務集。可以先從真實歷史請求中抽取 100 到 300 個樣本,再記錄以下指標:

指標記錄方式
成功率通過業務驗收的請求數 / 總請求數
格式遵循率符合 schema 的輸出數 / 總輸出數
工具呼叫準確率參數正確且副作用正確的呼叫數 / 總呼叫數
修復成功率首次失敗後重試成功的比例
單次成功成本輸入、輸出及重試費用之和
P95 延遲從請求送出到驗收通過的耗時
失敗類型幻覺、漏呼叫、格式錯誤逾時等分類

然後讓候選模型使用相同提示詞、相同工具和相同評分器執行。失敗樣本要逐條檢視,不要只看平均分。

一個平均分 90%、但關鍵工具呼叫只有 70% 的模型,不適合支付流程。一個稍慢的模型,如果能穩定執行退款規則,反而可能更便宜。

編輯觀點

MEI 最重要的價值,可能不是選出唯一冠軍,而是推動模型評測從一次性考試轉向可重複的工程回歸測試。Gemini 4 Neon 升至第一,為這個方向帶來外部關注;104 points 和 52 則留言也說明,開發者仍在追問方法透明度。

我更看好「可更新任務集 + 明細指標 + 失敗樣本」,而不是一個醒目的總排名。它和過去的靜態 benchmark 不同:不再假設一套題目能永久代表能力,而是持續觀察模型在工具呼叫、格式遵循與成本限制下是否仍能正常運作。

不確定性也很明確。目前還看不到 MEI 能在多大程度上消除樣例污染,也無法確認綜合權重是否適合不同業務。短期來看,它比較像一張具參考價值的健檢報告。長期能否成為選型標準,仍要看任務更新是否公開、評分能否重現,以及團隊是否願意把真實失敗案例放回評測體系。

來源

https://git-aarvin.github.io/mei/

來源: https://git-aarvin.github.io/mei/