Edge 브라우저 Agent 공격 경로의 핵심 취약점 분석
Orange Tsai는 모델 추론, 도구 호출, 페이지 상태가 결합해 형성하는 Edge 브라우저 공격 경로를 재구성했다. LLM Agent를 개발하는 사람에게 중요한 것은 ‘어떻게 jailbreak할 것인가’가 아니라, 각각은 정상처럼 보이는 행동이 어떻게 결합해 권한과 안전 경계를 벗어나는가다.
원문: https://blog.orange.tw/posts/2026-10-the-last-proof-of-human-craft-browser-full-chain/
이 글은 Hacker News 메인 페이지에도 실렸다. 페이지에는 47점과 댓글 8개가 기록돼 있었다: https://news.ycombinator.com/item?id=50285319
제 판단은 이렇다. Agent 보안에서 가장 놓치기 쉬운 지점은 이제 ‘모델이 유인당할 수 있는가’만이 아니다. ‘Agent가 어떤 행동을 연속해서 수행했는가’도 함께 살펴야 한다.
모델 jailbreak이 아닌 문제
기존 jailbreak 테스트는 보통 모델 출력에 초점을 맞춘다.
예를 들어 모델이 안전 정책을 우회해 원래 거부해야 할 내용을 생성하도록 유도한다. 결과도 직관적이다. 모델이 거부했다면 방어가 작동한 것이고, 답을 생성했다면 jailbreak에 성공한 것으로 판단한다.
Orange Tsai가 보여 준 것은 다른 유형의 문제였다.
공격은 모델의 안전 메커니즘을 직접 속이지 않았다. 모델 추론, 도구 호출, 브라우저 페이지 조작, 최종 안전 경계가 모두 각각 정상적인 행동으로 보일 수 있었다. 위험은 이들을 결합한 뒤에야 나타났다.
이를 다음과 같은 경로로 추상화할 수 있다.
text
사용자 목표
↓
모델 추론
↓
도구 호출
↓
페이지 상태 변화
↓
다음 모델 추론
↓
최종 행동
각 단계가 당시의 규칙을 모두 만족하더라도, 이전 단계가 남긴 상태가 다음 단계의 조건을 바꿀 수 있다. 그 결과 최종 행동이 허용 범위를 벗어날 수 있다는 뜻이다.
이러한 공격은 ‘모델이 악성 요청에 즉시 동의하도록 만드는 방식’과 다르다. 각 단계는 국소적으로 합당해 보이지만 전체 실행 순서에는 통합적인 안전 판단이 적용되지 않은, 시스템 간 작업 오류에 가깝다.
모델, 도구, 페이지는 어떻게 연결되는가
이 공격 경로를 이해하려면 먼저 Agent의 실행 경계를 분리해야 한다.
1. 모델은 추론을 담당한다
모델은 사용자 지시, 페이지 내용, 도구 반환값을 읽고 다음 행동을 결정한다.
모델 계층만 보면 보안 문제를 잘못 판단하기 쉽다. 모델이 명백히 정책을 위반한 텍스트를 만들지 않았을 수도 있다. 그저 현재 보이는 정보를 바탕으로 계속 작업하기를 선택했을 뿐이다.
문제는 모델이 특정 시점의 국소 상태만 본다는 점이다. 전체 작업이 최종적으로 미칠 영향을 볼 수는 없다.
2. 도구는 실행을 담당한다
도구는 추론을 실제 행동으로 바꾼다.
브라우저 Agent에서 흔히 사용하는 도구는 다음과 같다.
- URL 열기
- 버튼 클릭
- 양식 입력
- 페이지 텍스트 읽기
- JavaScript 실행
- 파일 다운로드
- 다른 서비스 접근
도구 자체가 모델을 대신해 완전한 정책 판단을 내리는 일은 보통 없다. 특정 API 호출이 허용됐다는 사실은 모든 호출 순서가 안전하다는 의미가 아니다.
3. 브라우저는 상태를 저장한다
브라우저는 공격 경로에서 가장 과소평가되기 쉬운 계층이다.
Cookie, Local Storage, DOM, 탭, 클립보드, 다운로드 기록, 페이지 간 이동은 모두 상태를 운반하는 매체가 될 수 있다.
앞 단계에서 기록한 내용을 뒤 단계가 자동으로 읽을 수도 있다. 서로 관련 없어 보이는 페이지 조작도 이후 도구가 참조하는 문맥을 바꿀 수 있다.
위험은 특정 모델 출력에만 존재하지 않는다. 세 계층이 값을 주고받는 지점에서 더 자주 발생한다.
text
모델 → 도구: 의도가 올바르게 제한됐는가?
도구 → 페이지: 행동이 작업 범위를 넘어섰는가?
페이지 → 모델: 피드백에 악성 또는 오해를 부르는 상태가 포함됐는가?
따라서 입력과 출력만 필터링해서는 충분하지 않다. 필터는 한 번의 prompt와 한 번의 completion만 본다. 실제 Agent는 계속 변화하는 상태 머신으로 동작한다.
순수 논리 취약점이 더 어려운 이유
‘각 단계가 합법적’과 ‘전체 결과가 안전적’은 같은 일이 아니다.
권한 체계의 confused deputy 문제와 비슷하다. 호출자가 민감한 데이터를 직접 요구하지 않았더라도, 공격자는 시스템이 자신 대신 원래 작업의 범위를 벗어난 행동을 수행하도록 유도할 수 있다.
Agent 환경에서는 최소한 다음 세 가지 방어를 보완해야 한다.
정책 계층 제약
‘현재 행동을 실행할 수 있는가’만 묻지 말고, ‘이 행동이 여전히 원래 목표에 부합하는가’도 확인해야 한다.
예를 들어 원래 작업이 문서 읽기라면 외부 링크 열기, 다운로드 실행, 설정 변경은 다시 확인이 필요한 경계 변화로 취급해야 한다.
정책은 독립적인 구성요소가 执行하는 편이 좋다. 모델에만 자체 점검을 맡기면 안 된다. 모델이 정책을 제안하면서 동시에 그 정책의受益자가 되기 때문에, 판단과 실행을 모두 모델에 맡기면 통제력이 약해진다.
단계 간 상태 검사
Agent는 위험도가 높은 행동을 실행할 때마다 최초 추론에서 만든 계획을 그대로 따르지 말고, 최신 상태를 기준으로 다시 평가해야 한다.
다음을 검사할 수 있다.
- 현재 페이지가 여전히 예상한 도메인에 속하는가
- 도구가 반환한 데이터가 작업 목표를 바꾸었는가
- 행동 결과가 사용자의 권한 범위를 넘어섰는가
- 직전 단계에서 확인되지 않은 지속 상태가 생성됐는가
이 검사는 긴 컨텍스트에서 ‘작업 목표를 기억하는 것’에 의존해서는 안 된다. 핵심 제약은 구조화된 상태에 저장하고 프로그램 코드로 확인해야 한다.
도구 권한 격리
서로 다른 도구에 동일한 권한을 부여해서는 안 된다.
웹페이지 읽기, 페이지 클릭, 파일 다운로드, JavaScript 실행, 클립보드 읽기는 같은 수준의 작업으로 취급할 수 없다. 권한이 높을수록 상태를 바꿀 수 있는 능력도 커지므로, 호출 전에 모델에 제공되는 문맥도 더 완전해야 한다.
간단한 원칙은 다음과 같다. 읽기 작업은 비교적 넓게 허용하고 쓰기 작업은 좁게 제한한다. 저위험 행동은 자동으로 실행해도 되지만 고위험 행동은 사용자 확인을 거친다.
순수 논리 취약점의 까다로운 점은 반드시 하나의 단일 방어를 우회한다는 사실은 없다는 것이다. 시스템에 조합 의미가 부족하다는 점을 이용한다.
Agent 보안 점검 목록
직접 개발한 LLM Agent를 실제 브라우저 환경에 배치한다면, 먼저 다음 항목을 점검할 것이다.
도구 최소 권한
- 각 도구에서 작업을 완료하는 데 필요한 매개변수와 대상만 공개한다.
- 접근 가능한 도메인, 파일 시스템 디렉터리, 네트워크 엔드포인트를 제한한다.
- 페이지 읽기, 스크립트 실행, 파일 다운로드, 클립보드 접근을 서로 다른 권한 영역으로 분리한다.
- 웹페이지 내용이 도구 호출 권한 범위를 직접 결정하지 못하게 한다.
페이지 조작 추적 가능성
모든 행동에는 최소한 다음 정보를 기록한다.
json
{
"step": 12,
"tool": "browser_click",
"target": "요소 선택기",
"url": "현재 페이지 URL",
"reason": "현재 단계 목적",
"result": "실행 결과",
"state_changed": true
}
로그는 오류 진단에만 쓰이는 것이 아니다. 보안 평가에서는 모델 응답을 일부抽查하는 것이 아니라 전체 행동 순서에서 비정상적인 전이를 찾아야 한다.
행동 전 목표 재평가
다음 지점에서 작업을 멈추고 목표를 다시 확인한다.
- 원래 도메인을 벗어나기 직전
- 스크립트를 실행하거나 파일을 다운로드하기 직전
- 민감한 저장소를 읽기 직전
- 페이지 피드백이 새로운 목표를 도입한 경우
- 도구 호출과 원래 작업의 직접적인 대응이 사라진 경우
판단 로직은 Agent 루프 밖에 두어야 한다. 최소한 결정적인 allowlist, 매개변수 검증, 정책 엔진을 마련해야 한다.
실패 이후 후속 단계 차단
도구 호출이 한 번 실패했다고 해서 원래 계획대로 작업을 계속해도 되는 것은 아니다.
실패로 페이지 상태, 반환값의 의미, 권한 조건이 바뀌었다면 후속 단계를 차단해야 한다. 오류 메시지도 공격자가 제어할 수 있으므로, 예외 응답을 새로운 신뢰할 수 있는 지시로 받아들여서는 안 된다.
실용적인 방법은 명시적인 상태 머신을 유지하는 것이다.
text
PLANNING → EXECUTING → VERIFYING → COMPLETED
↘ BLOCKED / NEEDS_CONFIRMATION
BLOCKED와 NEEDS_CONFIRMATION은 현재의 자동 실행 경로를 반드시 종료해야 한다. Agent가 예외를 잡은 뒤 직접 ‘복구 경로’를 만들어 나가게 두어서는 안 된다.
편집자 관점
이 사례의 중요성은 Agent 보안을 ‘답변이 정책을 위반했는가’에서 ‘행동 순서를 통제할 수 있는가’로 이동시켰다는 데 있다. 한 번의 출력이 필터를 통과했다고 해서 다단계 실행이 안전한 것은 아니다. 모든 도구 호출이 국소 규칙을 만족하더라도, 조합된 뒤의 권한, 데이터, 페이지 상태가 경계를 넘지 않는다는 보장은 없다.
개발자에게 이는 테스트 대상을 직접 바꾸는 의미가 있다. 악성 prompt 한 개만 검사해서는 안 되고, 상태가 실행 경로를 따라 어떻게 전파되는지 확인해야 한다.
제 예측은 Agent 보안 평가가 점차 시스템 수준 threat modeling에 가까워질 것이라는 점이다. 먼저 모델, 도구, 브라우저, 외부 서비스 사이의 신뢰 경계를 설계한 뒤, 각각은 무해하지만 조합하면 위험한 행동 순서를 구성해 시험해야 한다.
이는 과거의 단일 지점 jailbreak 테스트와 다르다. 모델이 반드시 ‘속아’落入陷阱와 같은 의미는 아니다. 실제로 실패한 것은 시스템에 단계 간 조합 의미가 부족했다는 점이다. 다만 공격 경로가 존재한다는 증거만으로 모든 Agent 도구 체인이 동일한 위험을 가진다고 단정할 수는 없다. 격리, 권한 영역, 감사 메커니즘은 여전히 실제 환경에서 재현해 검증해야 한다.