v0.2 榜单速览:Gemini 4 Argon 第一,但分数只比第二高零点几
StarSkirmish Bench v0.2 [1] 这两天上了 Hacker News 首页(105 分、50 条评论)。Gemini 4 Argon 排第一,把它和第二、第三名之间的真实分数差摆出来——别被"榜首"两个字唬住。
v0.2 覆盖的阵容不算小:OpenAI、Anthropic、Google、Muse 的旗舰模型都在。Gemini 4 Argon 是这次 Show HN 的主角,但第二、第三和它的差距,真就那么一点——领先第二名 0.x 分,第三名离第一也就差几个百分点。
"第一名领先 0.2 分"听起来像废话。但放在 Agentic 任务上,0.2 分可能就是"20 分钟长链调用中途没崩"和"崩了一次"的区别。
别读成"Gemini 一骑绝尘"。 真正的故事在分数差距之外。
StarSkirmish 和普通 Game AI 评测有什么不同
大多数 Game AI benchmark(AlphaStar 那种)测的是:模型直接吐动作(move_to, attack),或者训练一个强化学习策略。
StarSkirmish 不是。它让 LLM 写代码,代码来控制单位。模型拿到一个 Python 风格的 API(spawn_marine, attack_target 之类),分回合写、修改、提交策略脚本,对手就是另一个 LLM 写的策略。
这意味着测的是两件事的乘积:
- Agent 编码能力(能不能写出能跑的逻辑、能不能修 bug)
- 战略推理(代码写得有战略吗)
纯玩法测不出来这个。
v0.2 页面写得很清楚:"通过编写代码对战"。这种设计干净地把"模型会玩游戏"和"模型能写 Agent"分开了——后者才是 2026 年真正稀缺的能力。
跑分背后的真实指标:长链路工具调用 + 实时博弈
星际争霸是个狠的 benchmark,原因就一个:一局 20 分钟,LLM 要写很多轮代码维持战略。
代码会崩。宏观崩了,模型要发现、要定位、要重写。这不是单回合写代码(HumanEval 干的事),而是长链路 Agent 任务里 LLM 真实在做的事。
这正是当前 Agentic LLM 最痛的点:
- 工具调用 30 轮之后准确率掉多少
- 中间出错了模型能不能 recover
- 博弈树深了之后还跟不跟得住意图
v0.2 页面把核心考察能力摆得很直白:长时序规划 + API 工具调用稳定性 + 实时博弈决策。三件事少一个,榜单就退化回 HumanEval。
各家模型的具体踩坑场景
我没跑这些模型(v0.2 也没开放本地复现),但盯公开回放和评论区时,几个模式很明显。这是观察,不是绝对结论:
Claude:防守漏人。Claude 写的策略宏观没问题,但经常"对面三个坦克摸到基地了,自己还在采气"。Anthropic 系的 reasoning 模型长文本追战略是强项,但实时博弈里"视野外威胁"这一块欠火候。
GPT 系(o3 / GPT-5 这类):中后期资源调度卡壳。前 5 分钟运营得像教科书,到 12 分钟突然"矿满了不知道干嘛"。看起来对长程状态机的维护在游戏后半段退化。
Gemini 4 Argon:多线操作同步上是这一批最强的。同时维护"前线进攻 + 后方扩张 + 科技攀升"三条线不掉链子,是 Gemini 4 这一代从 v0.2 反映出来最清晰的进步点。和 Claude 比 0.x 分的优势基本都长在这。
注意这些是基于公开 v0.2 数据和讨论的观察,没法拿到模型内部权重。我可能错。
为什么这种 benchmark 比 MMLU / HumanEval 更值得看
MMLU 已经饱和了。2026 年发布的模型在它上面刷到 90+ 是常态,分不出谁好谁差。HumanEval 被污染得没法看——训练集和测试集泄露、刷榜刷到 GPT-4 上面都是 90+、你不知道是真的推理还是真的背题。
Agent 时代需要的是"真做事"的测试。
StarSkirmish 的位置在这里:
- StarSkirmish:长链路博弈 + 编码(这次主角)
- SWE-bench:Agent 修真实 GitHub issue(多回合工具调用)
- GAIA:多步推理 + 工具调用组合
- τ-bench:Agent 真实场景对话 + 工具使用
这四个榜单加在一起,才是 2026 年区分 Agentic LLM 真正能力的尺子。单独看任何一个都不够。
也是为什么 v0.2 上榜单分数差距小,但价值大:它测的东西和真实 AI Agent 产品(Cursor、Claude Code、Devin)天天干的事高度重合。
编辑思考
为什么这件事重要:StarSkirmish v0.2 不是一个"又一个 benchmark"。它把 Agent 编码能力 + 长程博弈放在同一个锅里测——这两件事在生产环境里从来就是一起出的。能在 20 分钟长链里不崩、还能跟博弈对手 update 的模型,就是 2026 年真正能拿去干活的模型。
我的判断(反共识警告):这个榜单目前最大的局限是——评分只看"最后谁赢",没拆解"为什么赢"。同样的胜场可能来自:(a) 编码质量高、(b) 战略深度够、(c) 对手这一局运气差、(d) 某个特定地图有数据上的 overfit。没有可拆解的子指标,这个榜单就会变成 SWE-bench Verified 上那种"刷分游戏"——大家针对固定对手池的固定打法做 fine-tune,最后榜单第一的模型在真实生产里排不到前三。
这次具体和过去哪些事不同:AlphaStar 时代测的是"RL policy 的策略极限",是专用模型;StarSkirmish 测的是"通用 LLM + 写代码工具 + 长链路稳定性",是 Agent 范式。ChatGPT 之前没人把"通用 LLM + 长程工具调用"当成核心能力测,现在这是产品差异化的关键。也是为什么 Claude Code、Cursor、Devin 这类产品的胜负手,更多在"长程不掉链子",而不是"单回合答得多准"。
不确定的地方:我没拿到 v0.2 完整数据访问权限,子指标拆解、地图分布、对战配对这些细节都是基于公开页面和 HN 讨论推断的。可能错——等官方放完整复现脚本我再更新判断。
参考:
[1] StarSkirmish Bench v0.2 — https://starskirmish.com/bench/v0-2/