v0.2 ランキング概観:Gemini 4 Argon が首位、ただし差はわずか
StarSkirmish Bench v0.2 [1] がこの数日 Hacker News のフロントページに載った(105ポイント、コメント50件)。Gemini 4 Argon が1位だが、2位や3位との実スコア差はほんの僅かだ。「首位」という文字面だけに惑わされてはいけない。
v0.2 の対象モデルは多彩で、OpenAI、Anthropic、Google、Muse の旗艦モデルが軒並み含まれている。今回の Show HN の主役は Gemini 4 Argon だが、2位と3位は本当にわずかな差でしか離れていない。先頭は2位に 0.x ポイント差をつけるのみで、3位も1位から数ポイント差で迫っている。
「1位が0.2ポイント差でリード」と聞くと大したことないと思うかもしれない。だが Agentic タスクにおいては、0.2ポイントが「20分の長鎖呼び出しを一度も落とさずに完走した」と「途中で一度クラッシュした」の違いになり得る。
「Gemini が独走」という読解は誤りだ。本当の価値はスコア差以外のところにある。
StarSkirmish は通常の Game AI ベンチマークと何が違うのか
AlphaStar のような既存の Game AI ベンチマークは、モデルが直接アクション(move_to、attackなど)を出力するか、強化学習で方策を学習させることを測定する。
StarSkirmish は違う。このベンチマークは LLM にコードを書かせ、そのコードでユニットを制御する。モデルは Python 風の API(spawn_marine、attack_target など)を与えられ、ラウンド単位で戦略スクリプトを書いたり修正したりして提出する。対戦相手は別の LLM が書いたスクリプトだ。
つまり、ここでは次の2つの値の積が測られている:
- Agent のコーディング能力(動作するロジックを書けるか、バグを直せるか)
- 戦略的推論(コードに戦略が宿っているか)
単なるプレイテストでは、この2つの積は測れない。
v0.2 のページには「コードを書いて戦わせる」と明記されている。この設計は「モデルがゲームを遊べる」ことと「モデルが Agent を書ける」ことをきれいに分離している。後者こそが2026年に本当に不足している能力だ。
スコアの裏にある真の指標:長鎖ツール呼び出し+リアルタイム博弈
StarCraft がベンチマークとして手強い理由はただ1つ、1試合20分という長さの中で、LLM が何ラウンドものコードを書き続けて戦略を維持しなければならない点にある。
コードは壊れる。マクロが破綻したら、モデル自身がそれを検知し、原因を特定し、書き直さなければならない。これは HumanEval のような単発のコーディングタスクではなく、長鎖 Agent タスクで LLM が日々行っていることだ。
まさに、現在の Agentic LLM における最大の痛みどころがここに来る:
- ツール呼び出しが30ラウンドを超えたあたりで精度がどれだけ落ちるのか
- 途中でエラーが起きてもモデルが自律的に回復できるか
- 博弈木の探索深度が増しても意図を追い続けられるか
v0.2 のページは、テストの中核を非常に明確に示している:長時間のプランニング+API ツール呼び出しの安定性+リアルタイム博弈での意思決定。この3つのうち1つでも欠ければ、ベンチマークは HumanEval に逆戻りする。
各モデルの具体的なつまずきどころ
自分ではこれらのモデルを走らせていない(v0.2 はローカルでの再現も公開されていない)。公開されているリプレイとコメント欄を観察する限り、いくつかのパターンが明確に見える。以下は観察であり、確定的な結論ではない:
Claude:守備の穴が目立つ。Claude の書くマクロには概ね問題がないが、「相手から3輌のタンクが base に迫っているのに、まだガス採掘している」という状況がよく起きる。Anthropic 系の推論モデルは長文の中で戦略を追うのは得意だが、リアルタイム博弈における「視界外の脅威」への対応にやや難がある。
GPT 系(o3 / GPT-5 など):中盤以降のリソース配分でつまずく。最初の5分は非常に教科書的な運営を見せるが、12分あたりで突然「採掘基地が埋まったが次に何をすべきかわからない」状態に陥る。長時間にわたる状態機械の維持が試合後半で退化しているように見える。
Gemini 4 Argon:複数ラインの並行運用がこの世代で最も優れている。同時に「前線の攻勢+後方の拡張+科技(tech)の積み上げ」を3本同時に回しても崩れない。これが v0.2 から読み取れる Gemini 4 世代の最も明確な進化点であり、Claude に対する 0.x ポイント差の強みはほぼこの点に集約されている。
これらは公開されている v0.2 のデータと議論に基づく観察であり、モデルの内部的な重みは見えない。間違っている可能性もある。
MMLU や HumanEval より StarSkirmish を見るべき理由
MMLU はすでに飽和している。2026年にリリースされるモデルは軒並み90点以上を出すので、もはや優劣がつかない。HumanEval はコンタミが深刻で使えない状態だ。訓練セットとテストセットの混入が進み、GPT-4 ですら90点以上が出る。実際の推論なのか暗記なのか判別できない。
Agent の時代には、「本当に手を動かす」テストが必要になる。
StarSkirmish の立ち位置を整理すると:
- StarSkirmish:長鎖博弈+コーディング(今回の主役)
- SWE-bench:Agent が実在の GitHub issue を修正する(多ラウンドのツール呼び出し)
- GAIA:多段推論+ツール呼び出しの組み合わせ
- τ-bench:実シナリオでの Agent 対話+ツール利用
この4つを合わせて見なければ、2026年の Agentic LLM の真の実力を測る物差しにはならない。1つだけを見ても不十分だ。
だからこそ v0.2 のスコア差が小さいにもかかわらず価値が大きい。ここで測られている能力は、Cursor、Claude Code、Devin といった実プロダクトの AI Agent が日々こなしている仕事と高い親和性を持つ。
編集部の考察
なぜこれが重要なのか:StarSkirmish v0.2 は「また1つ増えました」系のベンチマークではない。Agent のコーディング能力と長時間の博弈を同じ鍋に入れて測っている。この2つは本番環境では常に同時に発生する。20分の長鎖タスクを落とさずに走り続け、しかも博弈の相手を相手に update を続けられるモデルこそ、2026年に現場投入できるモデルだ。
私の判断(反共识注意喚起):このベンチマークの現時点での最大の欠点は、スコアの評価が「最終的にどちらが勝ったか」だけで、「なぜ勝ったのか」を分解していない点にある。同じ勝利でもその内訳は、(a) コーディング品質が高い、(b) 戦略が深い、(c) 対戦相手がたまたま弱かった、(d) 特定のマップで過適合している、の可能性すべてを含む。分解可能なサブ指標がなければ、このベンチマークは SWE-bench Verified の二の舞になる、つまり固定の対戦相手プールと定型的戦法に向けた fine-tune 合戦が起きて、ランキング1位のモデルが本番現場ではトップ3に入らないという事態が現実化する。
今回がこれまでの何と違っているのか:AlphaStar の時代が測っていたのは「RL policy の戦略的限界」であり、専用モデルが対象だった。StarSkirmish が測っているのは「汎用 LLM+コーディングツール+長鎖の安定性」であり、つまり Agent パラダイムだ。ChatGPT 以前には「汎用 LLM+長時間ツール呼び出し」を中核能力として測る発想はなかった。今やそれがプロダクト差別化の決め手になっている。Claude Code、Cursor、Devin といったプロダクトの勝ち負けが問われる場面では、「単発の正解率」ではなく「長時間の安定性」がものを言う。
不確実な点:v0.2 の完全なデータにはアクセスできていない。サブ指標の分解、マップの分布、対戦のペアリングといった詳細は、公開ページと HN の議論からの推測に過ぎない。間違っているかもしれない。公式に完全な再現スクリプトが公開されたら、判定を更新する。
参考:
[1] StarSkirmish Bench v0.2 — https://starskirmish.com/bench/v0-2/