Gemini 4 Neon 升至 Models Engineering Index 第一。本文拆解 MEI 的任務設計、評分方式與争议,並給出一套可落地的模型選型流程。
登頂不等於全能第一
原文標題很直接:Gemini 4 Neon is the new #1 on the Models Engineering Index。
這句話很容易被轉寫成「Gemini 4 Neon 登頂模型榜」。這會丟掉最重要的限定詞——Engineering。
傳統 benchmark 經常把模型能力壓縮成一個數字:固定資料集、固定題目、固定打分方式。跑分高,通常說明模型在某類任務上表現好。但生產系統關心的東西更多:
- 能否正確呼叫工具;
- 是否嚴格遵守輸出格式;
- 長任務中是否遺失約束;
- 失敗後能否根據報錯修正;
- 回應時間與呼叫成本是否可接受。
這些能力很難塞進一道選擇題。
所以,Gemini 4 Neon 登頂 MEI,能說明的是它在榜單涵蓋的工程任務上綜合表現最好,不能直接外推成「全能第一」。這不是替結論降溫,而是把結論放回指標邊界內。
MEI 到底測了什麼
MEI 榜單網址:https://git-aarvin.github.io/mei/
Models Engineering Index 使用的不是靜態題庫,而是持續更新的工程任務。其設計可以拆成四層來看。
1. 任務從「答對」變成「交付」
工程任務往往不是一次生成就結束。模型需要讀取輸入、呼叫工具、檢查結果、處理錯誤,再依約束交付結果。
這種任務更接近 AI Agent 的工作方式。最終是否成功,也不再只由文字相似度決定,而是看端到端流程有沒有完成。
2. 指標從單一分數變成多項約束
一個模型可能程式碼寫得好,卻總忘記按指定 schema 回傳;也可能答案正確,但輸出長度失控。工程評測必須把這些因素拆開,否則總分很容易掩蓋具體短板。
對生產團隊來說,這些維度比「某套人類考試題得分高幾個點」更直接:
- 成功率;
- 格式遵循率;
- 工具呼叫準確率;
- 延遲;
- token 與實際呼叫成本;
- 重試後的收斂情況。
3. 任務集會變化
靜態 benchmark 公開後容易逐漸失效。研究者會調整 prompt,廠商會篩選樣例,訓練資料也可能混入測試題。時間一久,分數上升不一定等於能力上升。
持續更新的工程任務可以緩解這類污染。它不一定徹底解決問題,但至少讓評測從一次性考試,逐漸變成持續的回歸測試。
當然,動態任務也會帶來新問題:不同時間執行的結果能否重現?評分程式是否足夠穩定?失敗是否來自模型,而不是工具、網路或隨機性?
這正是 MEI 值得持續觀察的地方。
4. 提示詞和樣例仍然會干預結果
再像生產環境的任務,也仍然是評測者設計的任務。
如果任務說明過長,測到的可能更接近模型的長上下文遵循能力。如果樣例只涵蓋一種表達方式,換一種措辭後成功率可能下降。如果 system prompt 被固定成某種風格,其他模型也未必有公平發揮的空間。
所以,MEI 中哪些任務來自真實工作流程,哪些經過人工簡化;權重如何確定;失敗案例是否公開;同一模型重複執行能穩定得到多少分——這些都會直接影響榜單可信度。
榜名的「Engineering」描述的是方向,不會自動保證方法論無懈可擊。
104 分的争议揭露了什麼
這則 Hacker News 首頁內容顯示 104 points 和 52 則留言。
原文留言網址:https://news.ycombinator.com/item?id=50568130
104 分說明開發者願意討論。52 則留言則說明爭議不是「大家一致按讚」。高討論度不等於高可信度。
這類工程榜單天然會引發幾個問題:
- 排名是否過度依賴一個綜合分?
- 權重是否公開、能不能調整?
- Gemini 4 Neon 是穩定領先,還是某幾項任務貢獻了絕大部分優勢?
- 榜單執行成本多高?一般團隊能否重現?
- 排名會不會因為題集更新而頻繁變化?
工程評測比靜態跑分複雜,因此也更需要透明。公開指標、原始結果、執行紀錄和版本歷史,其重要性不低於總分。
如果只能看到「#1」,卻看不到每個子項、信賴區間和重複執行的波動,討論很容易圍繞品牌立場展開,而不是聚焦於方法本身。
為什麼工程榜可能更有用
靜態 benchmark 像一次閉卷考試。工程榜則更像 CI 流水線裡的回歸測試。
後者更貼近生產環境,主要不是因為題目「更進階」,而是因為評價對象改變了。
生產環境中的 LLM 或 AI Agent 很少只回答問題。典型流程如下:
使用者請求 → 模型判斷 → 呼叫工具 → 驗證結果 → 修正錯誤 → 結構化回傳
模型輸出只是流程中的一環。工具參數寫錯一個小欄位,整個流程就可能失敗;頁面和文件格式不穩定,後端解析就會出錯;能力足夠但延遲太高,使用者也不會等。
因此,價格、延遲、工具呼叫和格式遵循不是「額外體驗」,而是工程能力的一部分。
MEI 的價值在於,它迫使評測者承認:模型評測不能只看答案品質。一個分數再高,如果每次呼叫貴 10 倍、延遲多 3 秒,或者一半輸出無法直接進入系統,它也未必是更好的模型。
不過,榜本能接近生產環境,不代表你的生產問題已經被涵蓋。不同團隊的工作流程差異很大:
- RAG 系統關注召回後的引用準確性與無答案處理;
- 程式設計 Agent 關注 repository 層級的修改、測試通過率與上下文管理;
- 客服 Agent 關注狀態保持、工具權限與異常升級;
- 多模態應用還要加入 OCR、圖像理解與延遲限制。
MEI 可以提供共同語言,但不能取代自己的驗收集。
別急著宣布新標準
單一總榜有一個明顯風險:它會製造出「唯一冠軍」。
但模型差異不是一條直線。某個模型可能更擅長遵循格式,另一些模型更擅長修改程式碼;一個模型適合高频短任務,另一個可能適合低頻複雜任務。即使 Gemini 4 Neon 在 MEI 排名第一,也不能只憑總榜就決定所有業務都切換過去。
更穩妥的選型方法是建立自己的任務集。可以先從真實歷史請求中抽取 100 到 300 個樣本,再記錄以下指標:
| 指標 | 記錄方式 |
|---|---|
| 成功率 | 通過業務驗收的請求數 / 總請求數 |
| 格式遵循率 | 符合 schema 的輸出數 / 總輸出數 |
| 工具呼叫準確率 | 參數正確且副作用正確的呼叫數 / 總呼叫數 |
| 修復成功率 | 首次失敗後重試成功的比例 |
| 單次成功成本 | 輸入、輸出及重試費用之和 |
| P95 延遲 | 從請求送出到驗收通過的耗時 |
| 失敗類型 | 幻覺、漏呼叫、格式錯誤逾時等分類 |
然後讓候選模型使用相同提示詞、相同工具和相同評分器執行。失敗樣本要逐條檢視,不要只看平均分。
一個平均分 90%、但關鍵工具呼叫只有 70% 的模型,不適合支付流程。一個稍慢的模型,如果能穩定執行退款規則,反而可能更便宜。
編輯觀點
MEI 最重要的價值,可能不是選出唯一冠軍,而是推動模型評測從一次性考試轉向可重複的工程回歸測試。Gemini 4 Neon 升至第一,為這個方向帶來外部關注;104 points 和 52 則留言也說明,開發者仍在追問方法透明度。
我更看好「可更新任務集 + 明細指標 + 失敗樣本」,而不是一個醒目的總排名。它和過去的靜態 benchmark 不同:不再假設一套題目能永久代表能力,而是持續觀察模型在工具呼叫、格式遵循與成本限制下是否仍能正常運作。
不確定性也很明確。目前還看不到 MEI 能在多大程度上消除樣例污染,也無法確認綜合權重是否適合不同業務。短期來看,它比較像一張具參考價值的健檢報告。長期能否成為選型標準,仍要看任務更新是否公開、評分能否重現,以及團隊是否願意把真實失敗案例放回評測體系。