Y Combinator Labs가 AI Agent swarm를 《Minecraft》와 《Mindustry》에 투입했다. 이 사례는 여러 Agent가 함께 일할 때 어떤 엔지니어링 문제가 생기는지 보여 준다. 더 중요한 것은 향후 평가에서 어떤 지표를 공개해야 하는가다.
Y Combinator는 게임을 Agent 실험장으로 삼았다
Y Combinator Labs의 games 프로젝트는 게임 환경을 AI Agent swarm의 실험장으로 사용한다. 프로젝트 요약에 따르면 Agent swarm가 각각 《Minecraft》와 《Mindustry》에서 실행됐다.
단순히 하나의 모델이 캐릭터를 움직여 몇 걸음 걸거나 광석을 조금 캐는 실험은 아니다. 게임은 계속 변화하는 환경, 제한된 자원, 여러 캐릭터가 함께 움직여야만 완수할 수 있는 과제를 제공한다. Agent는 환경 상태를 읽고 다음 행동을 결정한 뒤, 결과에 따라 계획을 수정해야 한다.
이 프로젝트 링크는 Hacker News 메인 페이지에도 올라갔다. 페이지에는 93 points와 35개 댓글이 표시됐다. 이는 사람들이 화면만 흥미롭게 본다는 뜻이 아니다. 여러 Agent가 실제로 어떻게 작동하며, 이런 협업 방식이 소프트웨어 개발, 운영, 연구 같은 현실 업무에 적용될 수 있는지도 함께 궁금해하고 있다는 의미다.
다만 선을 먼저 그어 둘 필요가 있다. HN의 점수와 댓글은 관심도 지표이지 평가 결과가 아니다.
《Minecraft》와 《Mindustry》의 난점은 다르다
두 게임에서 Agent가 마주치는 난점은 서로 다르다.
《Minecraft》의 공개 시나리오는 오픈 월드에서의 탐색과 건설이다. Agent는 광석을 찾고, 목재를 모으고, 도구를 제작한 뒤 집이나 도로를 건설할 수 있다. 문제는 지도가 크고 목표가 모호할 수 있다는 점이다.
예를 들어 ‘계속 작동할 수 있는 기지를 건설하라’는 목표에는 유일한 완료 경로가 없다. Agent는 목재를 모으면서도 연료를 고려하지 않을 수 있다. 또는 창고를 계속 확장하면서 먼저 용炉를 만들어야 한다는 사실을 잊을 수 있다. 여러 Agent가 같은 광맥을 발견해 모두 같은 자원을 캐러 갈 수도 있다.
《Mindustry》는 산업 생산, 자동화, 전투를 핵심으로 하는 게임이다. Agent는 채굴, 가공, 운송, 생산 라인을 연결해야 한다. 하나의 Agent가 모든 공정을 동시에 관리하기는 어렵다.
여기서 분업 문제가 드러난다. 광맥 탐색, 운송, 공장 건설, 공격 대응은 누가 맡는가? 분업 뒤에는 상태도 공유해야 한다. 그렇지 않으면 운송 Agent는 창고가 이미 가득 찼다는 사실을 모르고, 생산 Agent는 계속 원료를 보내온다.
두 게임을 함께 살펴보면 서로 다른 두 가지 협업 방식을 확인할 수 있다.
- 《Minecraft》은 상대적으로 목표가 열려 있는 상황의 탐색과 건설에 가깝다.
- 《Mindustry》는 제약 조건이 명확한 산업 시스템에 가깝다.
전자는 방목과 자원 낭비가 쉽게 발생한다. 후자는 과제 결합과 상태 충돌이 쉽게 발생한다.
AI Agent의 입장에서는 이것이 ‘문제 하나에 답하는 것’보다 장기 운행에 훨씬 가깝다. 현실의 많은 업무도 단순한一问一答이 아니라 환경 상태를 계속 읽고, 실행하고, 실패하고, 재시도하며, 일을 인계하는 과정이다.
Swarm의 병목은 규모가 아니다
Agent를 더 많이 배치한다고 결과가 자동으로 좋아지는 것은 아니다.
Swarm 시스템에서 흔히 나타나는 첫 번째 문제는 중복 작업이다. 여러 Agent가 같은 목표를 보지만 ‘이미 배정된 과제’라는 상태를 공유하지 않으면, 같은 자원을 동시에 채굴하거나 운송하거나 같은 구역을 동시에 변경한다. 처리량은 늘지 않은 채 계산 비용만 몇 배로 증가한다.
두 번째 문제는 상태 충돌이다. 《Minecraft》에서는 두 Agent가 같은 자원을 두고 다투는 상황을 비교적 쉽게 처리할 수 있다. 하지만 《Mindustry》에서는 한 Agent가 생산 라인을 확장하는 동안 다른 Agent가 기존 장비를 철거할 수 있다. 더 어려운 점은 국소적인 행동이 전체 계획을 바꿀 수 있다는 것이다.
세 번째 문제는 국소 최적해다. 각 Agent는 자신의 작은 과제를 완수했지만, 이를 결합한 결과는 없다.
예를 들어 세 Agent가 각각 목재, 돌, 철광석을 대량으로 모았지만, 합성 순서를 판단할 Agent는 없다. 자재는 모두 바닥에 놓여 있고 개별 과제 완료율은 높지만 시스템 목표는 실패한 상태다.
네 번째 문제는 조정 비용이다. Agent가 많아질수록 통신, 스케줄링, 충돌 탐지, 상태 동기화가 복잡해진다. 결국 Agent를 1개에서 8개로 늘렸더니 완료 시간이 오히려 길어지는 역설적인 결과가 나올 수 있다.
따라서 핵심은 ‘群体的 규모’가 아니라 다음 메커니즘이 시스템에 갖춰져 있는지다.
- 중복 배정을 막는 명확한 과제 소유권
- 공유하거나 조회할 수 있는 세계 상태
- 통일된 자원 예산과 충돌 처리 규칙
- 실패, 재시도, 인계를 기록하는 장치
- 전체 목표에서 국소 행동을 역추적할 수 있는 조정 계층
사실 이것은 AI Agent 프레임워크의 핵심 문제이기도 하다. LangGraph, AutoGen, CrewAI로 이름을 바꿔도 엔지니어링 제약은 사라지지 않는다. 상태는 어디에 저장하고, 메시지는 어떻게 전달하고, 과제는 어떻게 나누고, 충돌은 어떻게 판단하는가.
게임 화면은 이 메커니즘을 가장 직관적으로 보여 주는 표시 장치에 불과하다. 시스템 관리가 허술하면 화면에서도 곧바로 여러 Agent가 같은 광산을 줄 서서 캐거나, 창고가 막히거나, 공장이 멈추는 모습이 드러난다.
데이터가 없다면 게임 시연은 Benchmark가 될 수 없다
현재 공개된 요약에는 사용한 모델, Agent 수, 과제 정의, 과제 성공률, 벤치마크成績이 구체적으로 밝혀져 있지 않다.
따라서 지금은 다음과 같은 핵심 질문에 답하기 어렵다.
- 게임에서 실행된 모델은 GPT-5, Claude, 아니면 특정 오픈소스 모델인가?
- 각 환경에서 동시에 몇 개의 Agent가 실행되는가?
- ‘성공’은 어떻게 정의하는가? 집 한 채를 짓는 것인가, 아니면 지속 가능한 생산 체계를 만드는 것인가?
- 과제는 미리 고정되어 있는가, 아니면 Agent가 직접 나누는가?
- 단일 Agent, 두 개의 Agent, 더 큰 swarm의 결과는 각각 어떤가?
- 각 과제를 몇 번 실행했으며 실패 사례는 어떻게 분류하는가?
- Agent는 무한히 재시도할 수 있는가, 자원이 낭비되는 것도 허용되는가?
이런 데이터가 없으면 시연은 ‘시스템이 실제로 게임을 할 수 있다’는 사실만 보여 줄 뿐, ‘이 협업 방식이 단일 Agent보다 강하다'는 것을 증명하지 못한다.协作 능력이 현실 업무 흐름으로 이전되는지 판단할 수도 없다.
HN 페이지의 93 points와 35개 댓글은 커뮤니티 반응으로 활용할 수 있지만 평가를 대신할 수는 없다. 토론에서 기술에 관심을 가진 사람도 있고, Agent가 함께 행동하는 모습을 좋아하는 사람도 있을 수 있다. 두 관심 모두 이해할 만하지만, 둘을 혼동해 모델 능력의 증거로 삼아서는 안 된다.
향후에는 최소한 재현 가능한 기준선을 한 세트 공개해야 한다. 모델과 과제를 고정한 뒤 서로 다른 Agent 수를 비교하고, 성공률, 완료 시간, 자원 낭비율, 충돌 횟수를 보고하며 실패 궤적도 함께 첨부해야 한다.
지표는 최종 클리어 여부만 보지 않는 편이 좋다. 과정 지표가 실제 시스템의 비용에 더 가깝기 때문이다. 중복 방문 횟수, 메시지량, 과제 인계 실패 횟수, 재계획에 사용한 token, 시간 비용은 얼마인지 살펴봐야 한다.
편집자 생각
게임을 Agent 실험장으로 삼는 가치는 사람처럼 보이는 조작을 생성하는 데 있지 않다. 환경이 지속적으로 의존성, 충돌, 지연을 만들어 낸다는 데 있다. 현실 업무 흐름에서도 모든 과제를 Agent에게 배정해 주는 사람이나 중복 작업의 손해를 대신 감당해 주는 사람은 없다. 게임은 협업의 결함과 비용을 선명하게 드러낸다.
이번 사례는 과거의 ‘모델이 《Minecraft》를 플레이한다’는 시연과 다르다. 초점은 단일 모델이 장기 과제를 완수하는 것만이 아니라 여러 Agent가 함께 세계를 변경하는 것이다. 따라서 병목은 추론 능력에서 조직 능력으로 이동했다. 누가 과제를 소유하고, 누가 상태를 변경할 수 있으며, 자원 경쟁을 어떻게 처리하는가가 캐릭터를 더 추가하는 것보다 중요하다.
게임은 진단 환경에는 적합하지만 그 자체로 Benchmark를 대신할 수는 없다. 현재 공개 자료에는 모델, Agent 수, 성공률, 기준선이 여전히 부족하며 프로젝트의 세부 사항과 결과도 더 기다려야 한다. 지표, 과제, 실행 설정을 재현할 수 있어야 swarm이 실제로 협업하는지, 아니면 같은 목표에 더 많은 추론 비용을 쌓은 것인지 판단할 수 있다.