OpenComputer 실전: 자체 호스팅 AI Agent의 첫 커밋은 24초
OpenComputer는 기업의 AWS, GCP 또는 Azure에 coding agent를 배포한다. 프로젝트 측에 따르면 첫 코드 커밋까지 걸리는 시간은 24초다. 이 글에서는 지속형 VM, 세션 격리, 작업 이주 구조를 분석한다.
OpenComputer는 팀을 위한 오픈소스 cloud coding agent다. 기업은 실행 환경을 자체 AWS, GCP 또는 Azure 계정에 구축할 수 있으며, 코드와 자격 증명, 작업을 서드파티 호스팅 플랫폼에 넘길 필요가 없다.
프로젝트 작성자인 Utpal은 Hacker News에서 agent harness와 sandbox를 하나의 지속형 VM에서 실행한다고 설명했다. 프로젝트 측이 공개한 benchmark에서 OpenComputer는 첫 코드 커밋까지 24초가 걸렸고, 다른 후보 솔루션은 53~72초가 걸렸다.
24초를 곧바로 ‘Devin을 죽이는 도구’로 해석할 필요는 없다. 주목할 만한 점은 AI Agent의 실행 환경이 기업이 직접 보유하고 감사하며 이전할 수 있는 엔지니어링 자산으로 바뀌고 있다는 사실이다.
24초는 단순한 성능 점수가 아니다
‘첫 commit까지 24초’라는 측정은 Agent가 작업을 받은 뒤 첫 코드 커밋을 생성할 때까지 걸린 시간이다. 전체 작업 완료 시간이나 모든 엔지니어링 업무의 효율을 나타내는 지표는 아니다.
그렇더라도 이 지표는 의미가 있다. coding agent의 일반적인 작업 흐름은 다음과 같다. 저장소 읽기, 환경 시작, 모델 호출, 명령 실행, 파일 수정, 테스트 실행, 커밋. 첫 커밋 전까지는 환경 준비에 상당한 시간이 든다.
OpenComputer는 제어 계층과 실행 환경을 분리하지 않고 agent harness와 sandbox를 동일한 durable VM에서 실행한다. 프로젝트 작성자가 공개한 공식 benchmark에서 첫 commit까지 24초가 걸렸고, 다른 후보는 53~72초였다. 두 배 이상 빨랐다.
다만 조건을 붙여야 한다. 이 수치는 프로젝트 측이 공개한 값이며, 현재까지 독립적인 재현 결과는 확인되지 않았다. benchmark에 어떤 작업을 사용했는지, 환경을 미리 준비했는지, 머신 사양, 모델 버전, 시간 측정 시작점이 모두 결과에 영향을 준다.
그에도 시스템 설계 측면에서 24초가凭空 나온 것은 아니다. 지속형 VM은 파일 시스템, 프로세스 상태, 도구 캐시를 유지할 수 있다. 절약되는 시간은 ‘머신 한 대를 켜는 시간’뿐 아니라 의존성 재설치, Git 저장소 초기화, 작업 디렉터리 복원 과정의 대기도 포함될 가능성이 크다.
코딩 Agent에서 이러한 대기는 배경 잡음에 그치지 않는다. 추론 라운드를 소모하고, 피드백 루프를 늦추며, timeout과 중단으로 인한 실패율도 키운다.
자체 호스팅의 첫 목표는 비용 절감이 아니다
기업이 coding agent를 도입할 때 가장 먼저 생각나는 것은 비용이다. OpenComputer의 출발점은 더 직접적이다. 코드, 자격 증명, 작업을 자체 클라우드 계정에서 실행한다는 것이다.
이는 Devin 같은 호스팅 방식과 본질적으로 다르다. 코드가 기업 네트워크를 벗어나는지, 클라우드 자격 증명을 누가 보관하는지, Agent가 어떤 리소스에 접근할 수 있는지, 각 도구 호출을 어떻게 기록할지가 모두 기업의 아키텍처 선택이 된다.
혜택도 ‘호스팅비를 조금 절약한다’는 데 머물지 않는다. 다음 통제 경계를 확보할 수 있다.
- IAM 권한을 팀과 네트워크 환경에 맞춰 제한할 수 있다.
- 아웃바운드 트래픽을 기업 프록시와 감사 게이트웨이를 거치게 할 수 있다.
- 소스 코드와 실행 로그를 기업이 관리하는 저장소에 보관할 수 있다.
- sandbox 수명을 기존 Terraform, Pulumi 또는 Kubernetes 운영 절차에 통합할 수 있다.
- 데이터驻留 요구사항을 AWS, GCP 또는 Azure의 리전 정책에 직접 대응할 수 있다.
물론 자체 호스팅을 선택하면 책임도 함께 돌아온다. 네트워크 설정, 패치, 이미지 빌드, 키 교체, 비용失控, 로그 보존을 플랫폼 제공자에 넘길 수 없다.
팀마다 VM 하나, Git으로 세션 격리
OpenComputer는 팀마다 VM 한 대를 할당하는 방식을 사용하며, 수평 확장으로 용량을 늘릴 수 있다. 서로 다른 session은 Git worktree로 격리한다.
이는 실용적인 절충이다.
팀 단위 VM은 공유 기반처럼 동작한다. 언어 런타임, 의존성 캐시, 컨테이너 이미지, 시스템 도구를 재사용할 수 있다. 여러 Agent session이 각각 빈 환경에서 시작할 필요가 없다.
Git worktree를 사용하면 같은 저장소에 여러 작업 디렉터리를 동시에 유지할 수 있다. 각 session에는 전용 브랜치와 파일 변경 사항이 있어, 반복적으로 stash하고 브랜치를 전환한 뒤 기존 상태를 복원할 필요가 없다. 여러 issue를 병렬로 처리하는 팀에는 하나의 checkout을 두고 Agent가 서로 경쟁하는 방식보다 안정적이다.
수평 확장도 비교적 간단하다. 팀 단위 VM을 복제해 부하를 분산하면 된다. 하지만 stateless 서비스는 아니다. VM의 캐시, 자격 증명, 임시 파일에는 상태가 남을 수 있으므로, 확장과 함께 세션 라우팅, 상태 동기화, 회수 정책도 처리해야 한다.
지속형 환경이 코딩 Agent에 주는 실제 가치는 코드만 보존된다는 데 있지 않다. 사람이 환경을 구성하면서 축적한 암묵적 지식도 함께 유지된다는 점이다. 예를 들어 프로젝트에서 사용하는 내부 CLI, 빌드 스크립트, 비공개 의존성 소스, 디버깅 설정이 여기에 해당한다.
Agent가 매번 처음부터 실행되도록 하면 팀은 이러한 조건을 계속 다시 만들어야 한다. 지속형 VM은 반복해서 사용할 수 있는 엔지니어링 작업대 역할을 한다.
매 라운드 저장해 Agent 작업 이주가 가능해졌다
OpenComputer의 다른 핵심 설계는 각 대화 라운드가 끝날 때마다 session 파일을 코드 저장소에 백업하는 것이다. 덕분에 작업을 다른 VM으로 옮겨 복구할 수 있다.
이는 Agent 엔지니어링에서 매우 실용적인 문제를 해결한다. 작업은往往 몇십 분에서 며칠까지 이어지며, 중간에 인스턴스 재시작, 모델 rate limit, 권한 승인, 사람의 개입이 발생할 수 있다. 실행 상태가 특정 Agent 프로세스의 메모리에만 있다면 한 번의 장애로 전체 맥락을 잃을 수 있다.
session 파일을 라운드마다 디스크에 저장하면 상태를 버전 관리, 백업, 이전할 수 있는 저장소 자산으로 바꿀 수 있다. 작업을 이전할 때 모델에게 수십 라운드의 기록을 다시 읽어 재구성하게 할 필요가 없다.
구현에는 보통 두 가지 요소가 필요하다. session 파일을 백업하고, 새 환경에서 대응하는 repo, 브랜치, worktree를 찾는 것이다. 실제로 사용할 수 있는 이주 절차라면 작업 디렉터리, 프로세스 상태, 커밋되지 않은 변경 사항, 환경 변수까지 처리해야 한다.
프로젝트 README에 제시된 설치 방법은 다음과 같다.
git clone https://github.com/diggerhq/opencomputer.git
cd opencomputer
저장소에는 로컬 실행 방법도 제공되어 있다.
make run
버전에 따라 의존성과 설정 항목이 달라질 수 있으므로 실제 배포는 저장소의 현재 README와 Makefile을 기준으로 해야 한다.
Devin을 대체하는 오픈소스 옵션, 아직 남은 검증 과제
‘24초 만에 첫 commit을 만들었다’는 사실만으로 ‘전체 코딩 효율이 Devin의 두 배’라고 결론 내릴 수는 없다. 전자는 시작부터 첫 제출까지의 한 지표이고, 후자는 전체 작업 성공률, 테스트 통과율, 사람의 재작업 비율, 총비용으로衡量해야 한다.
OpenComputer가 Devin을 대체할 수 있는지 판단하려면 최소한 다음 항목을 확인해야 한다.
- Benchmark 기준: 작업 세트는 얼마나 큰가? 공개되어 있는가? 실제 issue인가, 합성 작업인가? 환경 준비 시간을 포함하는가?
- Sandbox 보안: Agent의 명령 실행 범위는 얼마나 넓는가? sandbox를 벗어날 수 있는가? 아웃바운드 네트워크는 어떻게 제한하는가? 자격 증명에는 최소한의 권한만 부여하는가?
- 모델 비용: 24초를 기록하는 동안 어떤 모델과 몇 token을 사용했는가? issue 하나를 완료하는 기준으로 모델 비용은 얼마인가?
- 작업 성공률: 첫 제출은 중간 상태에 불과하다. 최종적으로 테스트를 통과하고 코드를 병합할 수 있는가, 아니면 사람이 대량으로 수정해야 하는가?
- 지속형 환경의 격리: 서로 다른 session의 Git worktree가 파일, 네트워크, 자격 증명의 교차 접근을 실제로 방지하는가?
- 유지보수 활동: 프로젝트가 지속적으로 업데이트되는가? 클라우드 사업자 API가 변경된 뒤 얼마나 빠르게 대응하는가?
- 장애 복구: VM 재시작, 프로세스 충돌, 모델 rate limit 이후 session이 완전하게 복구되는가?
- 운영 부담: 이미지 업그레이드, 키 교체, 작업 공간 정리, 용량 계획에多少人력이 필요한가?
가장容易被 놓치는 부분은 모델 비용이다. Agent가 더 빨리 동작한다고 해서 모델 호출 횟수가 줄어드는 것은 아니다. 첫 제출 단계에서 저장소 파일을 대량으로 읽고 여러 patch를 생성하며 반복 탐색했다면 비용은 여전히 높을 수 있다.
편집자 관점
OpenComputer에서真正히 주목할 점은 ‘Devin을 24초 만에 재현한다’는 것이 아니다. Agent 실행 환경을 플랫폼 내부의 black box에서 기업이 보유하고 이전할 수 있는 엔지니어링 자산으로 바꿨다는 데 있다. 매 라운드마다 session을 저장하고 VM을 넘어 작업을 복구하는 기능은 단일 benchmark보다 생산 환경의 장기 요구에 더 가깝다.
제 판단에는 기업들이 성숙한 호스팅 제품을 즉시 대체하기보다 자체 호스팅 Agent의 인프라 계층으로 먼저 도입할 가능성이 크다. 권한 경계가 명확하고, 환경을 템플릿으로 표준화할 수 있으며, 사람이 빈번하게 인계해야 하는 내부 저장소에 가장 먼저 적합하다.
다만 현재 공개 자료에는 독립적인 benchmark 검증이 부족하다. 24초는 프로젝트 측의 소개에서 나온 수치이며, 표본 규모, 모델 비용, 작업 성공률은 모두 불분명하다. 이 수치를 제3자가 재현하기 전까지 ‘Devin의 오픈소스 대안’이라고 단정하지 않겠다.
이번 변화는 오픈소스 프로젝트가 더 이상 모델 가중치나 워크플로 프레임워크만 공개하는 단계에 머물지 않고, 완전한 Agent 실행 환경을 제공하기 시작했다는 점이다. 앞으로 경쟁의 중심은 모델 성능뿐 아니라, 기업이 작업을 안전하게 이전하고 권한을 통제하며 자신의 엔지니어링 맥락을 보존하도록 돕는 능력으로 넓어질 것이다.
출처
- OpenComputer GitHub
- 프로젝트 작성자인 Utpal의 Hacker News 소개