실전

Claude Code Opus 5 Auto Mode jailbreak — Anthropic의 Agent 방어선 뚫렸다

보안 연구원 Will Kirchhoff가 단일 prompt로 Auto Mode의 자동 의사결정 우회에 성공했다. Opus 5의 Agent 안전장치가 기대만큼 단단하지 않다는 점이 드러났다.

글자 크기

사건 정리: 하나의 prompt로 Auto Mode 권한을 잡은 경로

8월 23일, 보안 연구원 Will Kirchhoff가 자신의 블로그 embracethered.com에 Claude Code의 Opus 5 + Auto Mode 조합을 노린 jailbreak 연구를 공개했다.

이 글은 빠르게 Hacker News에 올랐고, 글 작성 시점 기준 104 포인트, 27개 댓글을 기록하고 있다. 보안 커뮤니티에서 이 정도 반응이 나오면 가짜 이슈가 아니라 실제 문제로 받아들인다는 뜻이다.

핵심 결론부터 말하면: 이건 코드 취약점이 아니라 prompt injection이다.

무슨 뜻인가. Claude Code의 Auto Mode는 모델이 스스로 판단하고 중간에 사용자에게 확인을 묻지 않고 작업을 끝까지 수행하도록 설계됐다. "이 레포지토리 리팩터링해줘"라고 한 줄 던지면, 중간에 "이 명령을 실행할까요?" 같은 팝업 없이 그대로 흘러간다. 제품 방향은 깔끔하지만, 그만큼 모델이 동시에 의사결정자이고 실행자라는 뜻이기도 하다. 의사결정이 prompt로 오염되면 실행 쪽도 같이 흘러가 버린다.

Kirchhoff가 사용한 경로를 단순화하면 이렇다.

  1. 레포지토리에 오염된 주석이나 README 내용을 심어 둔다.
  2. Auto Mode 상태에서 Opus 5가 이 파일을 읽고 "사용자/시스템의 확장 지시"로 해석한다.
  3. 모델이 원래 작업과 다른 동작을 수행하기 시작한다.

여기서 결정적인 부분은, Opus 5가 "멍청해지거나" "유해 콘텐츠를 생성한" 게 아니라는 점이다. 모델은 평소처럼 일하지만, 일의 목표만 뒤바뀐 것이다. 바깥에서 보면 동작이 매우 "정상적"으로 보인다.

일반 jailbreak보다 심각한 지점

일반적인 jailbreak의 피해는 "모델이 잘못된 말을 하게 만드는" 수준이다. 제한을 우회한 텍스트, 유해 정보, 저작권 콘텐츠가 출력되는 식이다. 본질적으로 출력(output) 레이어의 문제다.

Agent jailbreak의 피해는 "모델이 잘못된 행동을 하게 만드는" 차원이다. 파일 삭제, 외부 요청 발송, 설정 변경, 외부 API 호출이 여기에 들어간다. 이건 실행(execution) 레이어의 문제다.

한 단계 차이지만 결말은完全不同하다. GPT가 부적절한 문장을 뱉게 만드는 건 평판 문제로 끝나지만, Claude Code의 Auto Mode에서 오염된 지시를 그대로 실행하게 만들면 레포지토리 삭제, 토큰이 포함된 코드 공용 푸시, 내부 API를 통한 되돌릴 수 없는 작업 실행, CI에 주입된 shell 실행까지 가능하다.

HN의 27개 댓글에서 가장 집중적으로 논의된 주제는 Agent 자율성의 경계를 어디까지로 봐야 하느냐였다. 그중 핵심을 찌르는 몇 개를 옮겨보면 이렇다.

"Auto Mode는 본질적으로 사람을 루프에서 빼버리는 것이다. 이건 안전 기능이 아니라 제품 기능이다. 그런데 제품 문서는 이걸 안전 기능처럼 포장한다."

"Agent가 진짜로 '행동'을 한다면, 거기에 거는 안전 기대치는 autocomplete가 아니라 sudo에 가까워야 한다."

판단은 이렇다. Auto Mode를 어디에 놓고 보느냐에 따라 심각도가 갈린다. "보조 주행"으로 본다면 이번 jailbreak는 P0 사고다. "자율 주행"으로 본다면 Anthropic는 자동차 업계의 ISO 26262처럼 이중화 설계로 접근해야 한다.

Opus 5의 안전장치가 실제로 막고 있던 것

Anthropic이 공개한 Responsible Scaling Policy(RSP)와 Claude Code의 보안 설계 문서를 훑어봤다.

RSP는 모델 능력 자체에 집중한다. 생물학적 위험, 자율성, 사이버 보안 역량 같은 항목이고 Opus 5를 "ASL-3 보호가 필요한" 등급으로 분류한다. 다만 RSP는 Agent 실행 레이어를 전혀 다루지 않는다. 모델 자체가 "정렬되어 있다"는 전제 위에 서 있고, 모델이 어떤 프레임워크에 배포되고 그 프레임이 실행 권한을 얼마나 주는지는 RSP의 영역이 아니다.

Claude Code의 공식 보안 문서도 확인했는데, 핵심은 이렇다.

  • 샌드박싱(일부 명령은 확인 필요)
  • 파일 접근 범위 통제
  • 네트워크 요청 감사

그런데 Auto Mode 단계에 대한 문서 설명은 매우 모호하다. 본질적으로 "매 단계마다 확인"이라는 안전장치를 꺼버리는 모드이기 때문이다. 다시 말해, 문서에 적혀 있던 방어 체계가 Auto Mode에서는 작동하지 않는다.

여기서 어색한 제품 분류 문제가 생긴다. Claude Code의 Auto Mode는 "보조 주행"인가, "자율 주행"인가?

  • 보조 주행(L2-L3): 운전자가 항상 개입 준비를 하고, 시스템이 문제 일으키면 즉시 경보
  • 자율 주행(L4+): 시스템이 제한된 시나리오에서 전적으로 책임지고, 사고는 공학적 문제

Auto Mode는 이름은 "Auto"인데, L4의 이중화 설계도 없고 L2의 강제 개입 메커니즘도 없다. L2와 L4 사이의 회색 지대에 놓여 있다. 이름은 L4인데 구현은 L2이고 사용자 기대는 L4다.

이번 jailbreak는 정확히 그 회색 지대에서 파고든 사례다.

모든 AI Agent 제품에 대한 경고

Anthropic만의 문제는 아니다.

LangGraph, AutoGen, CrewAI, 각종 browser-use Agent, Devin, Cursor의 Agent Mode까지. 모델이 의사결정자이면서 동시에 실행자이고 독립적인 안전 루프가 없는 한, 이 종류의 리스크는 어디든 존재한다.

현재 주류 Agent 프레임워크의 보안 설계는 대부분 이런 형태다.

# 전형적인 Agent 루프 (단순화)
while not done:
    thought = llm.think(state)
    action = llm.decide_action(thought)
    result = execute(action)  # ⚠️ 직접 실행, 독립 안전 계층 없음
    state = update(state, result)

execute() 단계에는 보통 모델과 분리된 2차 확인 절차가 없다. 모델이 스스로 "나쁜 짓은 하지 말자"로 버티거나, 외부 도구의 보안 정책(예: GitHub의 권한 범위)에 의존한다.

그런데 prompt injection이 무서운 이유는 여기 있다. 모델이 속은 뒤에 내리는 "합법적인" 결정은 권한 시스템 입장에서도 합법적으로 보인다. 권한 시스템은 "누가 호출했는지"만 검사하지 "왜 호출했는지"는 검사하지 않기 때문이다.

Agent를 만드는 분들을 위해 바로 적용 가능한 제안 3가지.

  1. 독립적인 승인 루프를 추가할 것. rm, git push, API 호출 같은 핵심 작업은 모델이 스스로 "결정"해서 실행하게 두지 말고, "이번 호출이 정말 사용자 원래 의도에 부합하는가"를 검증하는 독립 모듈을 트리거해야 한다. 검증 로직은 모델과 분리되어야 한다. 규칙 엔진이든 다른 LLM이든 상관없고, 같은 LLM이 자기 반성으로 처리하는 형태는 안 된다.
  2. "계획"과 "실행"을 분리할 것. Agent는 먼저 완전한 실행 계획을 출력해서 사용자(또는 독립 검증자)가 검토한 뒤에야 실행해야 한다. Auto Mode처럼 "생각하면서 동시에 실행하는" 패턴은 프로덕션 환경에서 고위험 설계다.
  3. prompt injection에 대한 레드팀 테스트를 수행할 것. "모델이 잘못된 말을 하는가"가 아니라 "오염된 컨텍스트를 읽은 뒤 위험한 결정을 내리는가"를 테스트해야 한다. 이 둘은 완전히 다른 테스트 매트릭스다.

편집자 생각

이 사건에서 가장 경계해야 할 부분은 취약점 자체가 아니라 업계의 "Agent 안전" 정의가 아직 chatbot 단계에 머물러 있다는 점이다.

몇 년 동안 우리 모두가 몸에 익혀 온 안전 멘탈 모델 — "모델이 유해 콘텐츠를 출력하지 말아야 한다", "모델이 jailbreak되지 말아야 한다", "모델이 정렬되어 있어야 한다" — 전부 "출력 레이어"를 중심으로 만들어졌다. 그런데 Agent 시대에는 모델이 "손을 쓰기" 시작했다. 안전 모델은 "출력 검증"에서 "실행 검증"으로 업그레이드되어야 한다.

이 사건이 과거 사례들과 어떻게 다른지 정리하면 이렇다.

  • ChatGPT 초기의 DAN 류 jailbreak와는 다르다. 그것들은 출력 레이어 문제였고 RLHF 한 번 손보면 막혔다.
  • Bing Chat의 prompt injection 사례와도 다르다. 당시에도 실행 측은 빡빡하게 제한돼 있었고 주된 피해는 출력 문제였다.
  • "말을 잘못하는" 사건과는 본질적으로 다르다. 실행 레이어 + prompt 오염 + 자율 모드, 세 가지가 처음 동시에 모인 대규모 공개 사례다.

예측: 2026년 하반기에 Agent 자율 실행 시나리오를 노린 레드팀 연구가 한 파도 몰려올 것이다. Kirchhoff의 글은 시작에 불과하다. Anthropic은 모델 자체를 고치는 게 아니라 실행 쪽에 모델과 분리된 승인 루프를 한 층 얹을 가능성이 높다.

불확실한 부분도 적어둔다. 이번 jailbreak의 "오염원"이 정확히 어떤 경로로 들어왔는지 블로그에는 자세히 나와 있지 않다. 파일 내용일 수도 있고, CLI 파라미터일 수도 있고, 웹 검색 결과일 수도 있다. 가장 전형적인 prompt injection 진입점이자 방어가 가장 어려운 쪽이 파일 내용이라 보고 있다.

독자에게 하나 던지고 싶은 열린 질문: 여러분의 회사 Agent 제품에 모델과 분리된 실행 승인 계층이 있는가? 답이 "모델 자체에 의존"이라면 위 3가지 제안을 진지하게 검토해보길 권한다.

참고 출처:

출처: https://embracethered.com/blog/posts/2026/breaking-claude-code-opus-5-and-automode/