프레임워크

Gemini 4 Argon, 스타크래프트 코드 대결 1위 — Claude보다 뭐가 나은가

StarSkirmish Bench v0.2는 LLM이 직접 코드를 작성해 스타크래프트 대결을 붙는 방식이다. Gemini 4 Argon이 1위를 차지했지만 Claude·GPT와의 점수 차이는 0.몇 점 수준에 불과하다. 진짜 시험은 Agent의 장시간 인코딩 능력과 롱적 부하요, 2026년에 진짜 일을 시킬 수 있는 능력을 가르는 잣대다.

글자 크기

v0.2 리더보드 한눈에 보기: Gemini 4 Argon 1위, 그러나 2위와 차이는 0.몇 점

StarSkirmish Bench v0.2 [1]가 이틀 전 Hacker News 1면에 올랐다(105점, 댓글 50개). Gemini 4 Argon이 1위이지만, 2·3위와의 실제 점수 차이를 펼쳐 보면 "1위"라는 말에 속아 넘어가면 안 된다.

v0.2에 등록된 라인업은 작지 않다. OpenAI, Anthropic, Google, Muse의 플래그십 모델이 모두 포함됐다. Gemini 4 Argon은 이번 Show HN의 주인공이지만, 2위·3위와의 차이는 사실상 0.x점. 3위도 1위와 몇 퍼센트 포인트 차이밖에 안 난다.

"1위가 0.2점 앞서고 있다"는 말이 무의미하게 들릴 수 있다. 하지만 Agentic 과제에서는 그 0.2점이 "20분 길이의 호출 체인에서 한 번도 무너지지 않은 것"과 "한 번 무너진 것"의 차이가 될 수 있다.

"Gemini가 압도적으로 앞섰다"고 읽지 말 것. 진짜 이야기는 점수 차이 바깥에 있다.

StarSkirmish는 일반 Game AI 평가와 어떻게 다른가

대부분의 Game AI 벤치마크(AlphaStar 같은 것)가 측정하는 건 모델이 직접 액션을 뱉거나(move_to, attack), 강화학습 정책을 학습시키는 것이다.

StarSkirmish는 다르다. 이 벤치마크는 LLM이 코드를 작성하고, 그 코드가 유닛을 조종하게 한다. 모델은 Python 스타일 API(spawn_marine, attack_target 등)를 받아서, 라운드별로 전략 스크립트를 작성·수정·제출한다. 상대는 또 다른 LLM이 작성한 전략이다.

즉 측정 대상은 다음 두 가지의 곱이다.

  • Agent 인코딩 능력(동작하는 로직을 짤 수 있는지, 버그를 고칠 수 있는지)
  • 전략적 추론(코드가 전략적인 의미를 가지는지)

순수 플레이 능력만으로는 이걸 측정할 수 없다.

v0.2 페이지에 "코드를 작성해 대결한다"는 설명이 명확히 적혀 있다. 이런 설계가 "모델이 게임을 할 줄 안다"와 "모델이 Agent를 만들 줄 안다"를 깔끔하게 분리해 준다. 후자가야말로 2026년에 진짜 희소한 능력이다.

숨겨진 진짜 지표: 장시간 도구 호출 + 롱적 부하

스타크래프트가 까다로운 벤치마크인 이유는 단 하나다. 한 판이 20분이고, LLM이 전략을 유지하기 위해 여러 라운드에 걸쳐 계속 코드를 써야 한다.

코드는 깨진다. 거시 전략이 무너지면 모델은 그걸 발견하고, 원인을 찾고, 다시 짜야 한다. 이건 HumanEval이 하는 한 라운드 코드 작성이 아니라, 장시간 체인 Agent 과제에서 LLM이 실제로 하는 일이다.

바로 이 지점이 현재 Agentic LLM의 가장 아픈 부분이다.

  • 도구 호출 30라운드 이후 정확도가 얼마나 떨어지는가
  • 중간에 에러가 나도 모델이 recover할 수 있는가
  • 博弈 트리가 깊어져도 의도를 끝까지 따라가는가

v0.2 페이지가 핵심 평가 역량을 매우 직설적으로 적어 놓았다. 장시간 시계열 계획 + API 도구 호출 안정성 + 롱적 부하 의사결정. 이 세 가지 중 하나라도 빠지면, 그 리더보드는 HumanEval로 퇴화한다.

각 모델의 구체적인 함정 시나리오

나는 이 모델들을 직접 돌려본 게 아니다(v0.2는 로컬 재현도 공개돼 있지 않다). 다만 공개 리플레이와 댓글을 지켜보면서 몇 가지 흐름이 꽤 분명하게 보였다. 이건 관찰이지 절대적인 결론은 아니다.

Claude: 수비에서 인원을 놓친다. Claude가 짠 전략은 거시적으로는 문제가 없어 보이지만, "상대 탱크 세 대가 우리 본진까지 들어왔는데 우리 진영은 여전히 가스를 채굴 중" 같은 상황이 자주 나온다. Anthropic 계열 reasoning 모델이 장긴 텍스트에서 전략을 추적하는 건 강점인데, 롱적 부하 상황에서 "시야 밖 위협" 대응 부분이 아직 부족해 보인다.

GPT 계열(o3, GPT-5 등): 중후반 자원 스케줄링에서 멈칫한다. 첫 5분은 교과서처럼 운영하지만, 12분쯤 되니까 갑자기 "자원이 가득 찼는데 뭘 해야 할지 모름" 상태가 된다. 장시간 상태 머신을 게임 후반까지 유지하는 능력이 떨어지는 것으로 보인다.

Gemini 4 Argon: 이번 세대 중 멀티라인 운영 동시성은 최고다. 동시에 "전선 공격 + 후방 확장 + 테크 트리" 세 라인을 끊기지 않고 유지하는 능력이 v0.2에서 드러난 Gemini 4 세대의 가장 명확한 진전이다. Claude 대비 0.x점 우위도 거의 여기서 나온다.

이 평가들은 공개된 v0.2 데이터와 토론에 기반한 관찰이라는 점을 유의해야 한다. 모델 내부 가중치까지 확인할 수는 없다. 내가 틀릴 수도 있다.

왜 MMLU·HumanEval보다 이런 벤치마크가 더 볼 만한가

MMLU는 이미 포화됐다. 2026년에 공개되는 모델들이 여기서 90점 이상 받는 건 일상이 됐고, 어느 게 더 나은지 구분할 수 없다. HumanEval은 오염이 심해서 더는 못 본다. 학습셋과 테스트셋이 겹치고, 리더보드 점수도 90+까지 끌어올려져 있어서 진짜 추론인지 단순 암기인지 구분할 수 없다.

Agent 시대가 필요로 하는 건 "진짜로 일을 한다"는 테스트다.

StarSkirmish의 위치를 정리하면 다음과 같다.

  • StarSkirmish: 장시간 체인 博弈 + 인코딩(이번 주인공)
  • SWE-bench: Agent가 실제 GitHub 이슈를 해결(다회차 도구 호출)
  • GAIA: 다단계 추론 + 도구 호출 조합
  • τ-bench: Agent 실제 시나리오 대화 + 도구 사용

이 네 가지 리더보드를 함께 봐야 2026년 Agentic LLM의 진짜 능력을 가르는 자가 될 수 있다. 어느 하나만 봐서는 부족하다.

바로 그래서 v0.2의 점수 차이는 작아 보여도 가치는 크다. 이 벤치마크가 측정하는 것은 Cursor, Claude Code, Devin 같은 실제 AI Agent 제품들이 매일 수행하는 일과 매우 닮아 있다.

에디터의 생각

왜 이게 중요한가: StarSkirmish v0.2는 또 하나의 벤치마크가 아니다. Agent 인코딩 능력과 장시간 博弈을 한锅에 넣고 측정한다. 이 두 가지는 프로덕션 환경에서 늘 함께 등장한다. 20분 길이의 체인에서 무너지지 않고, 상대편 博弈 흐름을 따라잡아 가능한 스텝을 밟는 모델이야말로 2026년에 진짜 일을 시킬 수 있는 모델이다.

내 판단(반정통 경고): 이 벤치마크의 현재 가장 큰 한계는 승패만 보고 점수를 매긴다는 점이다. "왜 이겼는지"를 분해하지 않는다. 같은 승리라도 (a) 코드 품질이 좋아서일 수도 있고, (b) 전략 깊이가 충분해서일 수도 있고, (c) 상대가 그 판 운이 없어서일 수도 있고, (d) 특정 맵에 데이터 overfit이 돼서일 수도 있다. 분해 가능한 하위 지표가 없으면, 이 벤치마크는 SWE-bench Verified에서 벌어진 "점수 게임"이 된다. 결국 고정된 상대 풋집의 고정된 패턴으로 fine-tune하기 시작하면, 리더보드 1위 모델이 실제 프로덕션에서는 상위 3위 안에 못 들어가는 상황이 펼쳐진다.

이번이 과거와 다른 점: AlphaStar 시대에 측정했던 건 "RL 정책의 전략 한계"였고, 그건 전용 모델이었다. StarSkirmish는 "범용 LLM + 코드 작성 도구 + 장시간 체인 안정성"을 측정한다. 이건 Agent 패러미터다. ChatGPT 이전에는 "범용 LLM + 장시간 도구 호출"을 핵심 능력으로 측정한 사람이 없었다. 지금은 이게 제품 차별화의 핵심이다. Claude Code, Cursor, Devin 같은 제품의 승부 포인트가 "한 라운드 답을 얼마나 정확히 맞히느냐"가 아니라 "장시간 체인에서 끊기지 않느냐"에 더 있는 이유이기도 하다.

불확실한 부분: v0.2의 전체 데이터 접근 권한을 받지 못했다. 하위 지표 분해, 맵 분포, 대진표 같은 세부 사항은 공개 페이지와 HN 토론에 기반해 추정한 것이다. 내가 틀릴 수도 있다. 공식 재현 스크립트가 공개되면 판단을 업데이트하겠다.


참고:
[1] StarSkirmish Bench v0.2 — https://starskirmish.com/bench/v0-2/

출처: https://starskirmish.com/bench/v0-2/