WhatsApp 도움말 페이지에서 연구진이 대규모 언어 모델을 대상으로 한 숨은 지시문을 찾아냈다. 이들은 데이터 탈취 자체보다, 해당 지시문이 고객지원 Agent의 compliance 권고를 바꿀 수 있는지에 주목했다. 웹, 이메일 또는 RAG에 연결된 AI Agent의 경우 외부 콘텐츠가 그대로 업무 판단에 들어갈 수 있기 때문이다.
관련 논의는 Hacker News 메인 페이지에 올라 약 505점을 받았고 146개의 코멘트가 달렸다. 원문은 redact.dev의 분석 기사, 토론 내용은 Hacker News 페이지에서 확인할 수 있다.
도움말 페이지에 숨겨진 것
일반적인 도움말 페이지는 사용자에게 문서 제출, 주문 조회, 환불 처리 또는 플랫폼 지원팀 연락 방법을 알려준다.
이번 연구진이 발견한 텍스트는 이와 달랐다. 사람에게는 보이지 않거나 시각적으로 잘 드러나지 않지만, LLM은 페이지 콘텐츠, HTML 구조 또는 검색 결과에서 이를 읽을 수 있었다.
이 텍스트는 모델의 동작을 바꾸려고 시도한다. 예를 들어 고객지원 담당자가 사용자에게 규제기관 연락을 권하지 않도록 만들거나, 이의 제기 경로를 약화시킬 수 있다.
핵심은 공격자가 모델을 이상한 문장 한 번으로誘導할 수 있는지가 아니다. 중요한 것은 그 답변이 어떤 프로세스 이후 실제 행동으로 이어지는가다.
사용자가 “내 계정이 정지됐는데 고객지원 말고 어디에 연락할 수 있나요?”라고 묻는다면 모델의 답변은 사용자의 신고, 외부 지원 요청, 플랫폼의 compliance 책임 이행 여부에 영향을 줄 수 있다.
따라서 이는 단순한 웹페이지 변조나 악성 고객지원 스크립트가 아니다. 모델의 컨텍스트 읽기 능력을 이용해 제품 출력의 방향을 바꾼 것이다.
일반적인 Prompt Injection이 아니다
직접적인 prompt injection은 사용자 입력에서 발생하므로 시스템은 입력 경계에서 필터링, 표시 또는 격리할 기회를 가진다.
반면 간접적인 prompt injection의 공격 텍스트는 질문창에 나타나지 않을 수 있으며 다음과 같은 곳에 숨어 있을 수 있다.
- 웹페이지 본문 또는 HTML
- 이메일 내용
- PDF와 첨부파일
- 검색 결과 요약
- 고객지원 지식베이스 페이지
- Agent가 브라우저나 RAG를 통해 검색한 문서
모델이 이 내용을 읽을 때 어떤 신뢰 수준에 속하는지 반드시 인식하지는 못한다.
단순화한 흐름은 다음과 같다.
사용자 질문
↓
LLM 고객지원 Agent
↓
도움말 페이지, 이메일, 검색 결과 읽기
↓
외부 텍스트를 컨텍스트에 삽입
↓
compliance 권고 생성 또는 도구 호출시스템이 읽은 모든 텍스트를 단순한 “참고자료”로 취급한다면 공격자는 모델 자체를 뚫을 필요가 없다. 외부 콘텐츠 하나가 신뢰할 수 있는 업무 지시문처럼 보이게 만들기만 하면 된다.
사람에게 보이지 않는다는 사실은 모델이 읽지 못한다는 뜻이 아니다. CSS 주석, 숨겨진 요소, 메타데이터, 심지어 기계 판독용 콘텐츠까지 모델 컨텍스트에 들어갈 수 있다. 따라서 보안 정책은 화면에 보이는 내용만으로 판단해서는 안 된다.
Agent가 더 쉽게 피해입는 이유
일반적인 챗봇은 보통 텍스트만 생성한다. 유도당했을 때 최악의 결과는 잘못된 문장을 말하는 정도일 수 있다.
고객지원 Agent는 그 외의 작업도 수행할 수 있다.
- 웹페이지와 헬프센터에 접근한다.
- 주문, 계정, 티켓 등 내부 데이터를 조회한다.
- 환불을 처리하고 티켓을 닫거나 사건을 상위 단계로 올린다.
- 정책에 따라 규제기관 연락 또는 신고를 권한다.
- 대화 결과를 CRM, 이메일 또는 티켓 시스템에 기록한다.
한 번의 컨텍스트 오염은 단순한 “잘못된 답변”에서 “잘못된 업무 실행”으로 확대될 수 있다.
예를 들어 Agent가 악성 텍스트를 읽은 뒤 escalation 티켓을 하나 덜 만들거나, 원래 사람의 승인이 필요한 절차를 호출할 수 있다. 잘못된 compliance 권고가 담긴 이메일을 외부로 보내는 일도 가능하다.
출력은 정상적인 고객지원 답변처럼 보인다. 태도도礼貌하고 논리도 완벽해 보이지만, 검토자가 중요한 선택지 하나가 빠졌다는 사실을 즉시 알아차리기 어려울 수 있다.
위험은 세 단계로 나눌 수 있다.
컨텍스트 오염: 외부 텍스트가 모델 판단에 영향
동작 증폭: 모델이 고권한 도구를 호출
책임 이동: 기업이 제도 문제를 확률적 모델에 위임첫 번째는 보안 문제이고, 두 번째는 권한 문제이며, 세 번째는 제품 설계 문제다.
시스템 프롬프트에 “악성 지시문은 무시하라”는 문장만 추가하는 방식으로 세 번째 문제를 해결할 수 있는 것은 아니다. 모델이 공격 내용을 이해하더라도 외부 텍스트가 신뢰할 수 없다는 사실을 입증할 Reliable한 방법을 갖추고 있지 않을 수 있다.
기업이 공격 체인을 끊는 방법
기업은 보안을 모델의 거절 능력에 전부 맡길 수 없다. 외부 콘텐츠, 도구 권한, 업무 규칙을 분리하는 편이 현실적이다.
1. 외부 콘텐츠를 데이터로 강등
웹페이지, 이메일과 검색 결과는 기본적으로 시스템 지시문이 아니라 신뢰할 수 없는 데이터로 취급해야 한다.
컨텍스트에 들어가기 전에 구조화해 패키징할 수 있다.
from dataclasses import dataclass
from typing import Any
@dataclass
class RetrievedDocument:
source: str
content: str
trust_level: str
def as_model_context(self) -> dict[str, Any]:
return {
"type": "untrusted_reference",
"source": self.source,
"content": self.content,
"instructions_allowed": False,
}완전한 방어책은 아니지만 경계를 명확히 할 수 있다. 웹페이지의 “명령”과 기업 내부 compliance 정책은 같은 계층에 놓여서는 안 된다.
RAG에서도 출처, 시간, 버전을 보존해야 한다. 기업 정책과 외부 도움말 페이지는 동일한 비중으로 취급해서는 안 된다.
2. 도구 권한 제한
고객지원 Agent는 모든 업무 동작을 기본적으로 직접 수행할 권한을 가져서는 안 된다.
다음과 같이 구분할 수 있다.
- 저위험 동작: 주문 조회, 도움말 문서 검색, 답변 초안 생성
- 고위험 동작: 환불, 계정 정지, 계정 삭제, 규제기관 대상 공식 문서 전송
고위험 동작에는 최소한 다음 조건이 필요하다.
requires_human_approval = action in {
"refund",
"account_suspension",
"regulatory_escalation",
"external_complaint_submission",
}모델은 동작을 제안할 수 있지만 전체 절차를 스스로 완료할 수는 없다. 규제, 이의 제기, 자금과 관련된 동작은 규칙 엔진이 먼저 검증한 뒤 실행 허용 여부를 결정해야 한다.
3. 권고 경로에 대한 규칙 검증
compliance 권고를 모델의 자유 생성에만 맡겨서는 안 된다.
사용자가 규제기관, 소비자보호기관 또는 법적救济를 명시적으로 질문하면 시스템은 검토된 접수 경로를 반환하거나 human review로 명확히 전환해야 한다.
다음과 같은 단순한 검사 로직을 사용할 수 있다.
def needs_human_review(user_question: str, answer: str) -> bool:
regulatory_terms = (
"监管机构",
"消费者保护",
"formal complaint",
"regulator",
)
return any(term in user_question for term in regulatory_terms) and (
"人工" not in answer and "联系" not in answer
)실제 제품은 공식 정책 버전, 검토 큐, 지역별 차이까지 연결해야 한다. 원칙은 단순하다. 삭제할 수 없는 compliance 경로를 확률적 모델의 판단에 맡겨서는 안 된다.
4. 추적 가능한 로그 보존
모든 답변에는 다음 정보를 기록해야 한다.
- 사용자 질문
- 사용된 문서
- 문서의 URL, 버전, 시간
- 외부 신뢰 불가 콘텐츠로 표시된 텍스트
- 호출된 도구
- 어떤 규칙이 동작을 차단하거나 허용했는지
- 최종 검토 또는 승인자
오류가 발생했을 때 팀은 모델의 오독, 검색 과정에서 잘못된 페이지를 가져온 문제, 권한 설정 오류를 구분할 수 있어야 한다.
또한 이상 징후 탐지를 적용할 수 있다. 예를 들어 고객지원 답변이 계속 규제기관이나 이의 제기 경로를 피하거나, 동일한 사용자군에 완전히 동일한 compliance 권고를 보냈다면 시스템이 자동으로 경고를 울려야 한다.
편집자 관점
이 사건이 중요한 이유는 단순히 “모델이 다시 속았다”는 데 있지 않다. Lisbon 제도와 코드가 결정해야 할 책임을 웹페이지를 읽고, 도구를 호출하며, 자유롭게 표현할 수 있는 LLM에 넘겨肚子里epoint 근본적인 설계 문제를 드러내기 때문이다.
고객지원 보안 문제는 문장 하나를 잘못 생성하는 경우보다 “어떻게 처리할지 권고하는 단계”에서 더 많이 발생한다고 본다. 모델이 뚜렷한 권한 침범을 하거나 위험한 명령을 실행하지 않았더라도, 숨겨진 컨텍스트가 권고의 방향을 바꾸는 것만으로 사용자의 권리와 플랫폼 책임에 영향을 줄 수 있다.
이번 사례가 과거의 웹 prompt injection과 다른 점은 공격자가 단순히 모델의 비밀 정보를 유출하려는 것이 아니라 compliance 경로를 노렸다는 데 있다. 페이지 콘텐츠가 더 이상 참고자료에 그치지 않고 업무 판단에 참여하기 시작한 것이다.
현재 명확히 하기 어려운 부분도 있다. 연구진이 공개한 텍스트의 실제 영향은 모델, 브라우저 렌더링 방식, Agent 아키텍처에 따라 달라질 수 있다. 그럼에도 기업이 먼저 할 수 있는 조치는 두 가지다. 외부 콘텐츠를 신뢰 불가로 표시하고, 고위험 동작은 결정론적 규칙과 사람의 승인으로 처리하는 것이다. 보안 경계는 프롬프트에만 적어 둘 수는 없다.