框架

Gemini 4 Argon 奪下星海爭霸程式對戰榜首,優勢在哪?

StarSkirmish Bench v0.2 讓 LLM 透過寫程式操控《星海爭霸》進行對戰,Gemini 4 Argon 暫居第一。它與 Claude、GPT 系列的分數僅差零點幾,但這場競賽真正考驗的是 Agent 長鏈路編碼與即時博弈能力。

字級

v0.2 榜单速览:Gemini 4 Argon 第一,但分数只比第二高零点几

StarSkirmish Bench v0.2 [1] 近兩天登上 Hacker News 首頁(105 分、50 則評論)。Gemini 4 Argon 暫居第一,但把它與第二、第三名的真實分數差距攤開來看,就不會被「榜首」兩個字輕易唬住。

v0.2 收錄的模型陣容不算小:OpenAI、Anthropic、Google、Muse 的旗艦模型都在其中。Gemini 4 Argon 是這次 Show HN 的主角,但它與第二、第三名的差距確實非常接近——領先第二名 0.x 分,第三名距 第一名也只有幾個百分點。

「第一名領先 0.2 分」聽起來像廢話。但放在 Agentic 任務上,0.2 分可能正是「20 分鐘長鏈路呼叫中途沒出錯」與「中途崩潰一次」的差別。

別把它解讀成「Gemini 一騎絕塵」。真正的重點不在分數差距,而在榜單背後測到的能力。

StarSkirmish 與一般 Game AI 評測有何不同

多數 Game AI benchmark(例如 AlphaStar)測的是模型直接輸出動作(move_to、attack),或是訓練一套強化學習策略。

StarSkirmish 不是。它讓 LLM 撰寫程式碼,再由程式控制遊戲單位。模型會拿到一套 Python 風格的 API(例如 spawn_marine、attack_target),逐回合撰寫、修改並提交策略腳本;它的對手則是另一個 LLM 所寫的策略。

這代表評測的是兩項能力的乘積:

  • Agent 編碼能力(能否寫出可執行的邏輯、能否修補 bug)
  • 策略推理能力(程式所呈現的策略是否有效)

單純測遊戲操作,無法看出這些能力。

v0.2 頁面說得很清楚:這是一場「透過撰寫程式碼對戰」的競賽。這項設計乾淨地区隔了「模型會玩遊戲」與「模型能撰寫 Agent」,後者才是 2026 年真正稀缺的能力。

跑分背後的關鍵指標:長鏈路工具呼叫 + 即時博弈

《星海爭霸》之所以是一項嚴苛的 benchmark,原因只有一個:每局長達 20 分鐘,LLM 必須持續多輪撰寫程式碼,才能維持整體策略。

程式可能崩潰。整體架構一旦出錯,模型必須察覺、定位並重寫。這不是 HumanEval 所測的單回合寫程式,而是一般 長鏈路 Agent 任務裡,LLM 在真實環境中必須完成的工作。

這正是當前 Agentic LLM 最難處理的地方:

  • 工具呼叫累積 30 輪後,準確率會下降多少
  • 過程中發生錯誤時,模型能否恢復
  • 博弈樹加深後,模型能否持續掌握原本的目標與意圖

v0.2 頁面直接列出三項核心能力:長時序規劃、API 工具呼叫穩定性,以及即時博弈決策。任何一項缺席,榜單就會退化成另一套 HumanEval。

各家模型常見的失分情境

我沒有實際執行這些模型,v0.2 也尚未開放完整的本地重現環境。不過,觀察公開回放與留言區後,可以歸納出幾種明顯模式。以下只是觀察,並非絕對結論:

Claude:防守時容易漏人。Claude 寫出的策略在宏觀層面沒有太大問題,但經常出現「敵方三輛坦克已經摸進基地,自己還在採礦」的情況。Anthropic 系的 reasoning 模型擅長從長文本追蹤策略,但在即時博弈中,對「視野外威脅」的處理仍不夠敏銳。

GPT 系列(例如 o3、GPT-5):容易在遊戲中後期卡在資源調度。前 5 分鐘的運營像教科書一樣標準,到了第 12 分鐘卻突然「礦都滿了,不知道接下來該做什麼」。這顯示模型對長程狀態機的維護,可能在後半段明顯退化。

Gemini 4 Argon:在多線操作同步方面,這批模型中最強。它能同時維持「前線進攻、後方擴張、科技攀升」三條線而不失控,這是 Gemini 4 這一代從 v0.2 展現出的最清晰進步。相較於 Claude 領先的 0.x 分,優勢主要就來自這一點。

這些判斷僅依據公開的 v0.2 數據與討論;由於無法取得模型內部權重,結論仍可能有所偏差。

為何這種 benchmark 比 MMLU、HumanEval 更值得關注

MMLU 已經飽和。2026 年發布的模型在這項測試中拿到 90 分以上已是常態,難以再區分高下。HumanEval 則受到嚴重污染,幾乎失去鑑別力——訓練集與測試集可能洩漏,排行榜上連 GPT-4 都有多個版本超過 90 分,外部根本無從判斷究竟是真正推理,還是把答案背熟了。

Agent 時代需要的是能驗證模型「真的會做事」的測試。

StarSkirmish 在這張能力地圖上的位置如下:

  • StarSkirmish:長鏈路博弈 + 編碼能力
  • SWE-bench:Agent 修補真實 GitHub issue,測試多回合工具呼叫
  • GAIA:多步推理 + 工具呼叫的綜合能力
  • τ-bench:Agent 在真實情境中的對話與工具使用

只有把這四項榜單放在一起看,才能成為 2026 年衡量 Agentic LLM 真實能力的尺標。單獨看任何一項都不夠。

也因此,v0.2 的榜單分數差距雖小,價值卻很高:它測試的能力,與真實 AI Agent 產品——Cursor、Claude Code、Devin——每天都在處理的工作高度重疊。

編輯觀察

為何這件事重要:StarSkirmish v0.2 不是「又一項 benchmark」。它將 Agent 編碼能力與長程博弈放進同一個測試框架,而這兩項能力在生產環境裡從來都是一起出現的。能在 20 分鐘的長鏈路流程中維持穩定,又能隨博弈對手的行動持續調整策略的模型,才是 2026 年真正能投入工作的模型。

我的判斷,與主流看法未必一致:這份榜單目前最大的限制,是評分只看「最後誰贏」,卻沒有拆解「為什麼贏」。相同的勝場可能來自:(a) 編碼品質較高、(b) 策略深度足夠、(c) 對手在該局運氣較差,或 (d) 模型在某張特定地圖上出現資料層面的 overfit。如果沒有可拆解的子指標,這份榜單就會重演 SWE-bench Verified 上的刷分亂象——大家針對固定對手池與固定打法進行 fine-tune,最後拿到榜首的模型,在真實生產環境中可能連前三名都排不上。

這次與過去有哪些本質差異:AlphaStar 時代測的是「RL policy 的策略極限」,屬於專用模型;StarSkirmish 測的則是「通用 LLM + 寫程式工具 + 長鏈路穩定性」,對應的是 Agent 範式。在 ChatGPT 出現之前,幾乎沒有人把「通用 LLM + 長程工具呼叫」視為核心能力來評測,如今它已成為產品差異化的關鍵。Claude Code、Cursor、Devin 等產品的勝負手,也因此更多落在「長程執行能否維持穩定」,而非「單回合回答有多準確」。

仍不確定的地方:我尚未取得 v0.2 的完整資料存取權限,因此子指標拆解、地圖分布與對戰配對等細節,都是根據公開頁面及 HN 討論推斷。這些判斷可能不準;待官方釋出完整的重現腳本後,再進一步更新。


參考資料:

[1] StarSkirmish Bench v0.2 — https://starskirmish.com/bench/v0-2/

來源: https://starskirmish.com/bench/v0-2/