도구

Rivet AI Agent 아키텍처, Actor로 샌드박스 비용 줄이기

Rivet은 S3 기반 Actor에 Agent 상태를 저장하고, 유휴 상태에서는 실행 자원을 해제해等待型 Agent의 비용을 줄입니다. 다만 상태 복구, 동시성 일관성, 보안 격리는 별도로 검증해야 합니다.

글자 크기

왜 Agent마다 샌드박스를 하나씩 두지 않는가

일반적인 Agent 실행 환경에서는 크게 두 가지 방식을 사용합니다. 여러 프로세스를 같은 컴퓨터에서 실행하되 container나 권한 경계로 격리하거나, Agent마다 완전한 샌드박스를 따로 실행하는 방식입니다.

후자는 격리가 강화되고 browser, code interpreter 같은 무거운 의존성도 실행할 수 있습니다. 문제는 장기 과제에서 수십 개의 Agent가 동시에 대기할 수 있다는 점입니다. 샌드박스를 해제하지 않는 동안 compute, network, storage 비용은 계속 발생합니다.

Rivet은 “S3로 지원되는 경량 actor”를 선택했습니다. 공식 설명도 명확합니다. Agent마다 heavyweight sandbox를 실행하는 대신, 각 Agent가 S3 기반 경량 Actor를 사용하도록 한 것입니다.

여기서 두 개념을 구분해야 합니다.

  • Actor는 runtime에서 상태를 관리하는 단위이며, Agent 추론 로직을 대체하는 것은 아닙니다.
  • S3는 상태 backend이지, 모델을 scheduling하거나 Agent 의사결정을 대신하는 구성요소가 아닙니다.

따라서 Rivet이 줄이는 대상은 주로 상시 실행 환경입니다. 샌드박스 기능 자체를 없앤 것은 아닙니다. 신뢰할 수 없는 code를 실행하거나 system tool을 호출해야 한다면 여전히 외부 execution layer가 필요합니다.

Rivet의 장점은 다른 유형의 workload에서 드러납니다. Agent turn이 길고, 대부분의 시간 동안 tool 결과를 기다리거나 사용자 입력을 기다리거나 다른 참여자와 동기화해야 하는 경우입니다. 이런 환경에서는 각 instance에 무거운 실행 환경 상주시키는 방식이 비효율적입니다.

S3-backed Actor가 해결하는 문제

Rivet Actor는 여러 기능을 하나의 단위에서 제공할p.

  • 장기 Agent turn을 위한 long lifecycle process
  • context를 보관하는 in-memory state
  • 다중 사용자 협업을 위한 WebSocket service
  • S3로 지원되는 persistent SQLite storage
  • 유휴 상태일 때 hibernation으로 전환

핵심은 Actor가 대화를 처리한다는 사실이 아니라, task state에 명확한 소유자가 생긴다는 점입니다.

장기 과제가 재시작되면 기존 구현은 container를 다시 구성하고, dependency를 설치하고, log를 복원한 뒤 checkpoint부터 replay해야 하는 경우가 많습니다. Rivet은 turn을 넘어 유지해야 할 데이터를 Actor state에 저장하고, SQLite data는 S3로 지속화합니다. 복구할 때 전체 execution environment를 계속 유지할 필요가 없습니다.

WebSocket service는 다른 문제를 해결합니다. 여러 사용자와 Agent가 동일한 state를 중심으로 상호작용할 수 있게 합니다. 요청을 받아 text만 반환하는 HTTP worker와는 다릅니다. server와 client 사이에 connection을 유지하면서 Actor가 memory에서 session state를 관리합니다.

이 모델은 Cloudflare Durable Objects와 비슷합니다. 둘 다 모든 business logic이 하나의 거대한 process를 공유하도록 요구하는 대신, logic과 state를 address 가능한 actor에 결합합니다. Durable Objects는 managed platform 안의 stateful compute unit에 가깝고, Rivet은 open source와 self-hosting을 강조합니다.

차이는 바로 여기에 있습니다.

Cloudflare는 platform integration, edge location, managed operation을 제공합니다. Rivet은 self-host 가능한 code와 더 자유로운 backend 선택을 제공합니다. 대신 infrastructure, upgrade, failure recovery를 팀이 직접 처리해야 합니다.

긴 turn 과제의 핵심은 모델이 아니다

모델 context window가 커져도 task state 문제는 자동으로 해결되지 않습니다.

예를 들어 Agent가 여러 repository에 걸친 fault를 수정한다고 가정해 봅시다. code를 읽고, 가설을 세우고, test를 실행하고, CI 결과를 기다립니다. 중간에 누군가 정보를 보충하면 그 feedback을 기존 판단에 합쳐야 합니다. 전체 과정은 몇 시간씩 이어질 수 있습니다.

실제로 까다로운 부분은 보통 네 가지입니다.

  1. 어떤 정보는 memory에만 두어야 하는가
  2. 어떤 structured result는 반드시 안정적으로 disk에 저장해야 하는가
  3. process가 중단된 뒤 어떻게 복구할 것인가
  4. 여러 사람이 동시에 작업할 때 누가 latest state를 소유하는가

Actor model의 답은 “history를 더 많이 저장하는 것”이 아니라, state가 execution unit을 따라 움직이게 하는 것입니다.

단기 data는 memory에 둘 수 있습니다. Structured state는 SQLite에 기록하고, process 또는 machine을 넘어 유지해야 하는 data는 S3가 persistence를 지원합니다. 여러 turn에 걸친 과제마다 빈 환경에서 다시 시작할 필요가 없어집니다.

Hibernation mechanism도 이런 workflow에 적합합니다. Agent一段时间 동안 새로운 event를 받지 못하면 runtime resource를 해제합니다. 이후 request가 들어오면 persistent state에서 context를 복구하므로, 유휴 process가 CPU와 memory를 계속 차지하지 않습니다.

연구형 Agent에 특히 유용합니다. 하나의 experiment에서 수십 개의 candidate를 병렬로 실행하고, 각 candidate를 여러 turn 동안 돌린 뒤 사람이介入해 선별해야 할 수 있습니다. Candidate마다 무거운 sandbox를 상주시키면 resource 비용이 쉽게 터집니다.

Shared workspace나 실시간 협업이 필요한 환경에도 Rivet이 적합합니다. 하나의 Actor가 외부에 WebSocket을 열고, 여러 client가 동일한 state에 연결하면 application layer에서 반복 동기화하는 수고를 줄일 수 있습니다.

다만 Rivet은 “model만 연결하면 되는” Agent framework가 아닙니다. Runtime과 state orchestration을 다루는 도구이며, model 호출, tool 권한, Prompt, retry policy는 여전히 application이 정의해야 합니다.

Open source orchestrator의 실제 경계

S3, SQLite, Actor의 조합은 가볍지만 비용이 전혀 없는 것은 아닙니다.

먼저 state latency를 살펴봐야 합니다. Actor의 hot state는 memory에 있고, cold state는 S3로 이동합니다. Task recovery가 충분히 빠른지는 실제 data volume, request pattern, read path의 caching 여부에 따라 달라집니다. 공식 repository에는 deployment와 configuration 진입점이 있지만, README의 architecture 설명으로 직접 부하 테스트를 대신할 수는 없습니다.

SQLite도 주의해야 합니다. 단일 Actor 내부의 structured state에는 적합하지만, 수십 개의 Actor가 하나의 database에 동시에 write하도록 만드는 용도로는 적합하지 않습니다. S3가 persistent backend를 제공하더라도 concurrent write conflict가 자동으로 해결되는 것은 아닙니다. Application은 idempotent operation, state version, recovery boundary를 직접 설계해야 합니다.

Security boundary도 별도로 계산해야 합니다.

경량 Actor는 기본적으로 secure sandbox가 아닙니다. Actor가 shell을 실행하거나 credential에 접근하거나 third-party code를 실행한다면 container, isolated account, network policy, audit log가 필요합니다. Local GPU, 복잡한 dependency, 고강도 compute가 필요한 과제 역시 “가볍다”는 이유로 Actor에强行 적용해서는 안 됩니다.

어떤 팀이 먼저 이익을 얻을 수 있을까요?

  • 장시간 실행되며 state를 자주 저장해야 하는 Agent product
  • 많은 short lifecycle 또는 waiting task를 동시에 실행하는 팀
  • WebSocket 기반 실시간 협업이 필요한 research tool
  • 일부 operation을 직접承担하면서 self-hosting을 원하는 open source user

반대로 당장 전환하면 안 되는 환경은 다음과 같습니다.

  • 모든 Agent에 완전한 Linux toolchain과 browser sandbox가 필요한 경우
  • Local GPU inference이나 high throughput compute가 필요한 경우
  • Single write transaction에 강하게 의존하는 기존 database system
  • Distributed state, monitoring, recovery mechanism을 운영할 역량이 없는 팀

가능하다면 작은 프로젝트로 세 가지를 먼저 검증하는 것이 좋습니다. Actor cold start recovery 시간, concurrent event 상황의 state consistency, 장기 실행 후 발생하는 S3 비용입니다. 정상적인 경로만 측정하지 마세요. Actor를 강제로 종료하고, message를 replay하고, SQLite write failure를 모의하면 Demo를 정상 실행하는 것보다 많은 정보를 얻을 수 있습니다.

원본 project와 architecture 설명은 Rivet GitHub repository에서 확인할 수 있습니다.

편집자 관점

Rivet이 주목할 만한 이유는 또 하나의 Agent framework를 만든 데 있지 않습니다. Agent runtime을 persistent되고 hibernation 가능한 state unit으로 분할했다는 점이 중요합니다. 이는 과거의 “Agent마다 한 대의 machine” 접근과 다릅니다. 초점이 compute isolation에서 state continuity로 이동한 것입니다.

Rivet은 일반적인 chat application보다 연구형 task와 multi-agent workflow에 먼저 영향을 줄 것으로 봅니다. 전자에는 대량의 waiting, recovery, human intervention이 필요해 state cost가 더 두드러집니다. 후자는 기존 backend만으로도 대체로 해결할 수 있습니다. 실제 장애물은 operation detail에 있을 가능성이 큽니다. Actor recovery logic, SQLite boundary, S3 access pattern, failure 시 state consistency가 그렇습니다.

다만 공식 설명의 “고밀도”, “확장 가능”을 그대로 performance conclusion으로 받아들일 수는 없습니다. Actor 수가 늘어날 때 scheduling과 recovery cost가 어떻게 변하는지, hibernation threshold가 적절한지는 실제 workload로 측정해야 합니다. 이 비용을 감당 가능한 수준으로 낮출 수 있다면, tool call wrapper를 한 겹 더 추가하는 것보다 장기적인 가치가 있습니다.

출처: https://github.com/rivet-dev/rivet