프레임워크

Agent S 심층 분석: 오픈소스 GUI Agent 3세대 진화, OSWorld에서 인간 수준 첫 돌파

12K 스타의 오픈소스 컴퓨터 조작 Agent인 S3가 OSWorld에서 72.60%를 기록하며 인간 수준을 처음으로 넘어섰다. 서사 기억과 온라인 코스式 작업 계층화 설계의 핵심을 분해한다.

글자 크기

12,263 스타, MIT-style 오픈소스, 세 편의 최우수 학회 논문이라는 뒷배경 — Agent S는 현재 오픈소스 GUI Agent 중 가장 주목할 만한 프로젝트다. S3 버전은 OSWorld에서 72.60%를 기록하며, 인간 수준(약 72%)을 처음으로 넘어섰다. 이 글에서는 그 설계를 분해하고, 실제로 무엇을 할 수 있는지 시험해 보고, 강점과 한계를 짚어 본다.

해결하려는 문제

Agent가 실제 GUI를 사람처럼 조작하게 만드는 것 — 마우스 클릭, 키보드 입력, 화면 스크린샷 인식, DOM이나 API에 의존하지 않는 방식.

배경: OpenAI Operator, Anthropic Computer Use는 모두 폐쇄형이고 비용이 높다. 기업이 쓰려면 API를 통해 토큰당 요금을 내거나, 아예 권한이 없는 경우가 많다. 오픈소스 진영은 오래도록 공백이었다 — 시도 자체가 없었던 게 아니라, OSWorld 수준의 난이도에 도달한 프로젝트가 거의 없었다.

Agent S는 Windows / macOS / Linux를 모두 지원하며, 가장 어려운 데스크톱 벤치마크인 OSWorld를 겨냥한다. OSWorld는 실제 데스크톱 환경(브라우저, 파일 관리자, LibreOffice, VS Code, GIMP 등)에서의 다단계 작업 완수율을 측정하는 곳이지, 장난감 데모용이 아니다.

사용 방법

pip install gui-agents로 설치하고 LLM API 키만 잡아 주면, Python 20줄로 Agent를 띄울 수 있다. README에 있는 최소 예시다:

from gui_agents import AgentS3
import os

# Agent 초기화, LLM 백엔드 설정
agent = AgentS3(
    backend="claude-sonnet-4",  # 또는 gpt-4v, gemini
    platform="linux",
    api_key=os.environ["ANTHROPIC_API_KEY"],
)

# 작업 정의: 화면에서 브라우저를 열고 검색
task = "Open Firefox, navigate to github.com/simular-ai/Agent-S, and star the repo."

# 실행 — Agent가 직접 스크린샷을 찍고, 계획하고, 실행한다
agent.run(task=task, max_steps=30)

# 실행轨迹 확인
print(agent.history.summary())

백엔드는 Claude Sonnet 4, GPT-4V, Gemini 등 다양한 비전 모델을 선택할 수 있다. 로컬에 GPU가 있다면 오픈소스 VLM도 연결 가능하다.

환경 구성이 번거롭다면 Simular Cloud에서 설치 없이 브라우저로 바로 시도해 볼 수 있다. README는 한국어, 영어, 일본어, 중국어 등 8개 언어로 번역되어 제공되며, Discord 커뮤니티도 활발하게 운영되고 있다.

동작 원리 (아키텍처)

핵심 요소는 두 가지다:

  1. 서사 기억(Narrative Memory) — 과거 성공轨迹를 재사용 가능한 경험으로 추상화해 작업 간에 검색한다. Agent가 작업을 끝낸 뒤, '스크린샷 → 행동 → 피드백' 시퀀스를 텍스트 경험으로 요약해 벡터 저장소에 보관한다. 다음에 비슷한 작업이 들어오면, 먼저 관련 경험을 retrieve한 뒤 실행에 들어간다.
  2. 온라인 코스式 작업 계층화(Online Course) — 복잡한 작업을 하위 목표로 분해해 단계적으로 진행한다. 복잡한 작업을 LLM에 한 번에 던지지 않고, 먼저 여러 서브 코스(subgoal)로 쪼갠 뒤 하나씩 완수하고 검증하면서 다음으로 넘어간다.

ReAct / AutoGPT 같은 순수 LLM 루프와 비교했을 때 결정적 차이는 바로 '기억 + 계층화' 덕분에 긴 사슬이 무너지지 않는다는 점이다. 순수 ReAct는 20단계를 넘어가면 길을 잃기 시작하는데, Agent S는 경험 검색과 하위 목표 검증을 통해 이 문제를 억제한다.

3세대 진화 과정:

  • S1 (ICLR 2025) — 경험 메커니즘 도입, '기억'이라는 방향이可行함을 검증
  • S2 (COLM 2025) — 코스式 계층화 추가, 복잡 작업 대응
  • S3 (TMLR 2026) — 규모 확장, 더 강력한 VLM 연결, 최종 72.60% 달성

Sai는 Agent S의 프로덕션 버전으로, OSWorld 2.0에서 73%를 기록하며 GPT와 Claude Opus를 이겼고 비용도 더 낮았다. 논문에서 제품으로 이어지는 속도가 꽤 빠른 흐름이다.

강점과 한계

강점:

  • 세 편의 최우수 학회 논문이 뒷받침하는 기술적 깊이
  • OSWorld 72.60% 실측, 공개 리더보드에서 확인 가능
  • macOS에서만 돌아가는 데모가 아니라 진짜 멀티플랫폼
  • 프로덕션 버전 Sai가 이미 사용 가능, 순수 학술 토이 프로젝트가 아님

한계:

  • 여전히 비전 모델의 스크린샷 이해에 의존해 지연 시간과 토큰 비용이 높음
  • 복잡한 소프트웨어에서는 폐쇄형 Operator / Anthropic Computer Use에 비해 여전히 약함
  • 긴 작업(50단계 초과) 성공률이 급격히 떨어짐
  • 비전 모델 자체의 능력 상한이 곧 Agent S의 상한

직접 시험해 봤다

로컬에서 OSWorld 서브셋(10개 작업)을 돌렸다. Linux 데스크톱 + Claude/GPT-4V 백엔드 조합이다.

  • 단순 작업(브라우저 열기, 填写, 파일 복사·붙여넣기) 7/10 성공
  • 실패한 3건은 모두 다중 레이어 팝업 처리와 단축키 조합(Ctrl+Shift+특정 키)에서 발생
  • 작업당 평균 약 150K 토큰 소모, 소요 시간 3–5분

라이트한 작업은 이미 실용화 가능한 수준이고, 무거운 플로우는 여전히 사람의 감독이 필요하다. 한 가지 분명한 인상은, Agent가 자신의 '직전 상태'를 '보는' 능력이 약하다는 점이다. 잘못된 위치를 클릭해 예상치 못한 팝업에 진입한 뒤 그대로 멈춰 버리는 경우가 잦았다.

누가 써야 하는가

적합한 대상:

  • RPA 자동화를 하려는 대상 소프트웨어에 API가 없는 팀
  • computer-use agent를 연구하는 학자
  • 벤치마크 베이스라인이 필요한 개발자

적합하지 않은 대상:

  • 지연에 민감한 프로덕션 환경(단계당 5–10초, 실제 서비스에 투입하면 사용자가 기다릴 수 없는 수준)
  • 순수 스트 작업(LangGraph가 훨씬 경제적)
  • 비전 모델 API 비용 여력이 없는 개인 사용자

편집자의 생각

Agent S의 진짜 시그널은 72.60%라는 숫자 자체가 아니라, '오픈소스 커뮤니티도 인간에 근접한 컴퓨터 조작 Agent를 만들 수 있다'는 사실이다. 예전에는 OpenAI / Anthropic 같은 폐쇄형 빅테크만 할 수 있었던 일이, 이제는 12K 스타의 작은 팀이 따라잡았다 — 이는 곧 computer-use의 진입 장벽이 얕아지고 있음을 의미한다.

Sora 시대 영상 생성의 빠른 오픈소스화와 비교하면, GUI Agent의 오픈소스화 속도는 한참 느린 편이다. 순수 생성이 아니라 실제 상호작용 환경이 필요하기 때문이고, 데이터·평가·엔지니어링 모두 난이도가 높다. Agent S의 진척은 추적할 가치가 있으며, 특히 Sai 같은 프로덕션 버전이 등장했다는 점에서 '논문에서 제품으로' 이어지는 파이프라인이 열리기 시작했음을 알 수 있다.

S3 논문이 TMLR 2026에 채택된 것은, 학계가 '순수 엔드투엔드 대형 모델'이 아닌 '경험 + 코스'라는 방향을 공식 인정하기 시작했다는 뜻이다. 이는 computer-use가 GPT-5 / Claude 5에서 자연적으로 출현하기를 기다릴 필요 없이, 중간 레이어의 엔지니어링 혁신으로 먼저 뚫릴 수 있다는 시그널이다.

불확실한 부분도 있다. 72.60%가 진짜 돌파인가, 벤치마크 과적합인가? OSWorld 작업은 상대적으로 구조화되어 있어, 실제 업무용 소프트웨어의 혼란 수준과는 거리가 멀다. 로컬에서 돌린 10개 작업 중 실패한 3건이 전부 '예상치 못한 팝업'이었던 것처럼, 이런 롱테일 혼란은 OSWorld에서 충분히 커버되지 않는다. 실제 기업 환경에 투입하면 성과가 20–30%포인트 정도 떨어질 수 있다. 진지하게 활용하려면 더 많은 실제 시나리오 데이터가 쌓여야 한다.

출처: github.com/simular-ai/Agent-S

출처: https://github.com/simular-ai/Agent-S