CSO Online 8월 기고 AI agents aren't going rogue. Frontier labs are skipping security basics가 Hacker News 메인에서 517점과 218개 댓글을 끌어모았다. 그 숫자 자체가 보여주는 건 명확하다—개발자 커뮤니티는 더는 'AI 각성' 서사를 받아들이지 않는다는 사실이다.
글의 주장은 직관적이다. 사고는 에이전트의 자율 결정 때문이 아니라, 프런티어 연구소가 웹 보안에서 수도 없이 다뤄온 기본 엔지니어링—입력 검증, 권한 제어, 샌드박스 격리, 감사 로그, 휴먼 인 더 루프—을 건너뛰었기 때문이라는 것이다.
아래에서는 원문에 흩어진 여러 라인을 묶어보고, 거기에다 본인 시각을 더한다.
원문이 무엇을 놓고 싸우나
CSO Online의 논리 구조는 반(反)서사적이다:
- 기본 서사: 에이전트 자율성 증가 → 통제 불가 → 폭주 사건 → 규제 필요
- 기사 주장: 에이전트는 폭주하지 않았고, 배포자가 기본기를 안 했을 뿐 → 폭주 사건 → 엔지니어링 책임 문책
후자가 CISO에게 훨씬 친화적이다. 'AI는 통제 불가'는 책임이 모델 벤더와 규제 기관으로 전가되지만, '입력 검증을 안 했다'는 책임이甲方 보안팀에 고정된다—동시에 甲方이 스스로 문제를 해결할 길도 열어준다.
218개 댓글의 주제는 사실상 세 갈래로 수렴한다:
- 2010년대 웹 애플리케이션도 똑같이 망가졌다는 지적
- 연구소만 탓할 일이 아니라 오픈소스 에이전트 프레임워크가 더 거친 게 사실
- 현업에서는 비즈니스 측이 이런 보안 체크를 절대 허락하지 않음
세 번째가 실제 엔지니어링 현실이다—아래에서 다시 다룬다.
건너뛴 '지루한' 기본기 5가지
원문에서 몇 가지를 골라 중요도 순서로 정리했다. 각각은 웹 보안이 20년 동안 말해온 상투 주제인데, 에이전트 쪽에서는 기억이 통째로 날아간 상태다.
1. 도구 호출의 입력 검증
LLM이 조립한 SQL이 그대로 DB로 들어가고, 조립한 셸 명령이 바로 실행된다. 가정(假定) 이야기가 아니다—Autogen, CrewAI의 기본 동작이 그렇고, 도구 시그니처는 단지 prompt 힌트일 뿐 런타임에는 schema 검증이 전혀 없다.
# 반례: LLM이 조립한 query를 그대로 실행
def run_sql(query: str):
return db.execute(query) # LLM이 "DROP TABLE users"라 하면 진짜 drop
# 이렇게 해야 한다
from pydantic import BaseModel, Field
class ReadQuery(BaseModel):
query: str = Field(..., pattern=r"^SELECT.*FROM\s+\w+(\s+WHERE.*)?$")
def run_sql(q: ReadQuery):
if not q.query.upper().startswith("SELECT"):
raise ValueError("SELECT만 허용")
return db.execute(q.query)
2. 최소 권한 원칙
한 에이전트가 셸 권한을 얻는 순간 rm -rf가 가능하다. 이메일 권한을 얻으면 일괄 발송이 가능하다. LangGraph, AutoGen의 도구 등록 인터페이스는 권한 단위 자체를 구분하지 않는다—전부 줄 거면 주고, 안 줄 거면 안 준다.
3. 샌드박스 격리
브라우저 에이전트가 호스트 프로세스에서 돌고, 파일 시스템 에이전트가 사용자의 홈 디렉터리를 직접 읽고 쓰며, 코드 실행 에이전트가 메인 프로세스에서 동작한다. 프로덕션에 올라가서는 안 되는 것들이 지금 '데모 단계'라는 이름으로 프로덕션에 올라가 있다.
4. 감사 로그
사고가 나도 에이전트가 뭘 했는지 아무도 모른다. LangChain의 기본 verbose=True는 stdout에만 출력하고, OpenAI의 function calling은 호출 인자를 기본적으로 남기지 않는다. 사후 추적? 잊어라.
5. 휴먼 인 더 루프(HITL)
중요한 액션에 확인(confirm) 절차가 없다. 이메일 발송, 이체, DB 변경—에이전트가 자체 판단으로 진행한다. 이 항목만 따로 빼도 2026년 최대의 지뢰가 될 가능성이 크다.
이 다섯 가지는 새로운 문제가 아니다. 웹 보안이 20년 동안 되뇌온 상투 주제인데, 에이전트 진영 전체가 기억상실에 걸린 셈이라 다소 놀랍다.
책임 전가: 에이전트 탓이 개발자 탓보다 편하다
연구소 PR은 '에이전트의 자율 결정' 서사를 즐겨 쓴다. 그래야 보안 책임을 'AI는 통제 불가'라는 가짜 명제로 옮길 수 있기 때문이다. 한번 사고가 터지면舆论의 초점은 'AI 폭주'가 되고, '입력 검증을 안 켰다'가 되지 않는다.
후자라면 甲方 보안팀이 책임을 진다. 전자면 모두가 한숨 돌린다—'어쩔 수 없지, AI가 그런 거니까'.
몇 군데를 짚어보면:
- Anthropic의 Claude Code는 상대적으로 잘한 축이다. 도구 호출에 schema 검증과 permission 프롬프트가 있고, 다만 휴먼 인 더 루프는 기본값이 꺼져 있다
- OpenAI의 GPT-5 function calling은 엄격성 면에서 진전이 눈에 보이지만, 역시 confirm 강제는 없다
- 오픈소스 프레임워크 LangGraph / AutoGen / CrewAI는 사실상 알몸이다
이건 음모론이 아니라 인센티브 구조의 결과다. 사고가 나기 전엔 입력 검증에 시간을 쓰지 않는다—써도 KPI에 더해지는 게 없으니까. 사고가 난 뒤에는 舆论이 'AI 통제 불가'로 흘러 책임이 개발자에게 가지 않는다.
전통 보안과 비교하면: 에이전트 진영이 2010년 실수를 그대로 답습하고 있다
오늘의 에이전트 혼란을 2010년 전후 웹 애플리케이션과 겹쳐보면:
| 시점 | 상태 | 그 이후 어떻게 구했나 |
|---|---|---|
| 2010 | SQL 인젝션 범람, XSS가 사방에서 적중 | OWASP Top 10 + WAF 보편화 |
| 2016 | CSRF, SSRF 만연 | 위와 동일, 표준이 점차 채워짐 |
| 2026 | 에이전트 도구 호출이 알몸, 권한 제어 부재 | ? |
에이전트 쪽에는 아직 'Agent OWASP'조차 없다. 각자 자의적 표준을 내세울 뿐이다. LangChain에 자체 보안 페이지가 있고 Anthropic에 Responsible Scaling Policy가 있지만, 전부 업체가 직접 쓴 것이고 벤더 간 합의는 없다.
판단컨대, 2026년 말 이전에 누군가가 이 문제를 끌어안을 것이다—OWASP이 직접 나서거나, 어느 헤드 랩이거나. MITRE ATT&CK for AI Agents 같은 방향이 먼저 움직일 가능성이 높다.
CISO가 지금 당장 할 수 있는 것
연구소의 해결책을 기다릴 여유는 없다. 실행 가능한 체크리스트:
- 도구 화이트리스트 강제: 에이전트는 명시적으로 허용된 도구만 호출할 수 있어야 하며, 신규 도구는 반드시 승인 프로세스를 거쳐야 한다
- 실행 환경의 컨테이너화 + non-root 강제: 브라우저 에이전트, 셸 에이전트, 코드 에이전트는 모두 격리된 컨테이너에서 동작해야 하며, 컨테이너 내부 프로세스는 root일 수 없다
- 모든 도구 호출을 감사 로그에 기록: 단순 로그가 아니라 구조화되어 저장되어야 하며, 에이전트 ID·시간·도구 유형으로 역추적이 가능해야 한다
- 고위험 작업은 휴먼 confirm 필수: 파일 쓰기, API 호출, 이메일 발송, 이체—기본값이 confirm이며 끌 수 없다
- 내부 '에이전트 침투 테스트'를 가동: 에이전트를 신뢰할 수 없는 제3자로 간주하고, 웹 침투 테스트 매뉴얼 그대로로 공격 테스트를 돌린다
세련되진 않다. 하지만 오늘 뉴스에 나오는 사고의 90%는 막을 수 있다.
# 최소한으로 쓸 수 있는 에이전트 실행 설정 예시
agent_sandbox:
runtime: docker
image: agent-runtime:1.0
user: nonroot
capabilities:
drop: ALL
network: isolated
tools_whitelist:
- read_file
- search_web
tools_require_confirm:
- write_file
- send_email
- execute_sql
audit:
enabled: true
destination: s3
fields: [agent_id, tool, args, timestamp, user_id]
위 설정을 LangGraph, AutoGen 또는 사내 프레임워크에 그대로 끼워 넣으면 된다. 핵심은 도구 화이트리스트 + 컨테이너 격리 + 감사 + confirm 메커니즘이다.
편집자 소견
이 사건에서 진짜 경계해야 할 것은 에이전트가 '각성'하느냐가 아니라, 보안 책임이 서사에 의해 희석되고 있다는 점이다. 'AI는 통제 불가'는 새로운 버전의 천재설(天災說)이다—사고가 터지면 하늘을 탓하고, 자신을 안 탓한다.
향후 12개월 안에 에이전트 보안 논의가 '윤리辩论'에서 '엔지니어링 책임 문책'으로 이동할 것으로 본다. 규제의 타깃이 모델 자체가 아니라 배포자의 보안 결손이 될 가능성이 가장 높다. 이유는 세 가지다:
- 규제当局은 본능적으로 정량화된 책임追究 지점을 선호한다. '모델이 너무 똑똑하다'는 추적이 불가능하지만, '입력 검증을 안 했다'는 추적이 가능하다
- 이미 선례가 있다—유럽 AI Act와 미국 행정명령 EO 14110 모두 '배포자 책임' 쪽으로 기울고 있다
- 사고가 늘어날수록 舆论은 'AI가 너무 강력하다'에서 '당신이 너무 부주의하다'로 이동한다
이번 사건이 과거와 다른 지점은, 주류 보안 매체(CSO Online)가 처음으로 비판의 칼날을 'AI 능력'이 아니라 '엔지니어링 결손'으로 돌렸다는 것이다. 예전 보안圈이 AI를 논할 때는 모델 보안(적대적 샘플, 탈옥)이거나 데이터 보안(훈련 데이터 유출)이었다. 이번에는 배포자의 엔지니어링 기본기를 직접 지목했다—새로운 각도다.
불확실한 부분도 있다. 오픈소스 에이전트 프레임워크는 보안 개선 속도가 클로즈드 소스 제품보다 느릴 가능성이 크다. PR 압박도 없고 컴플라이언스 예산도 없기 때문이다. 향후 12개월 안에 실제로 규제가 들어오면, 모델 벤더가 아니라 LangGraph, AutoGen처럼 다수 기업이 그대로 프로덕션에 올린 프로젝트들이 가장 큰 타격을 받을 것이다.