실전

AI Agent Spartan, 세 제조企業 보안 무너뜨리다

독립 연구자가 AI Agent 팀을 통제해 John Deere와 SharkNinja, Cummins의 보안 테스트를 수행한 사례가랐다. 자율형 Agent의 속도와 적응력이 기업 보안에 새로운 위험을,带来다는 점을 보여 준 사건이다.

글자 크기

독립 연구자 한 명이 AI Agent 여러 개를 지휘해 미국 전통 제조업체 세 곳의 보안 테스트를 자율적으로 수행했다. 대상은 John Deere(농기), SharkNinja(소비자 가전), Cummins(디젤 엔진)이다.

The Verge는 이 과정을 상세히 보도했다. 원문 기사에는 과정이 구체적으로 정리돼 있으며, Hacker News에서도 메인 페이지를飾했다(토론帖).

사건을 하나씩 살펴보자.

사건 복원: 한 사람이 Agent로 세 기업을 어떻게 뚫었나

핵심은 하나의 Agent가 공격 체인 전체를 수행한 것이 아니라 여러 Agent가 역할을 나눠 협업했다는 점이다.

오케스트레이터(orchestrator)가 작업을 배분하고, 각 Agent는 고유 역할을 맡는다.

  • 정찰 Agent: OSINT 수행, 하위 도메인 탐색, 유출 문서 확인, LinkedIn을 통한 직원 프로파일 조사
  • 취약점 악용 Agent: 정찰 결과를 바탕으로 CVE 데이터베이스 조회, PoC 생성, exploit 코드 작성
  • 횡적 이동 Agent: 초기 foothold 확보 후 내부망에서 이동 경로 탐색, 권한 상승, 자산 전환
  • 보고 Agent: 침투 흔적과 명령어, 스크린샷을 읽기 쉬운 보고서로 정리

Agent들은 공유 메모리와 작업 큐를 통해 통신한다. 앞선 Agent의 출력은 다음 Agent의 입력이 된다.

기존 자동화와의 차이는 중간 단계에 있다. 취약점 악용 Agent는 payload를 기계적으로 실행하지 않는다. exploit이 실패했을 때 오류 메시지를 읽고 stack trace를 확인한 뒤 payload를 고쳐 다시 시도한다. 이러한 적응형 재시도는 전통적인 스크립트에는 거의 존재하지 않는다.

한 가지 예를 들면, 특정 CVE의 PoC가 대상 머신에서 GLIBC version mismatch를 반환했다. 전통적인 스크립트는 그대로 실패하고 끝났지만, Agent는 스스로 cat /etc/os-release를 실행한 뒤 호환되는 버전을 찾아 그 결과를 사용했다.

왜 이 세 곳이었나: 농기, 소비자 가전, 디젤 엔진

목표는 무작위로 고른 것이 아니다. 세 기업 모두 OT와 IT의 경계가 흐릿한 대표적 전통 제조업체다.

  • John Deere: 정밀 농업과 원격 진단을 위해 농기에 많은 네트워크 장치를 사용하지만, 오래된 시스템에는 하드코딩된 키가 남아 있다
  • SharkNinja: 소비자 가전과 IoT를 함께 다루며, 공급망에 다수의 OEM과 third-party component가 관여한다
  • Cummins: 디젤 엔진과 산업용 제어 시스템을 운용하며, 패치 주기가 연 단위로 길다

SaaS와 금융테크 등 인터넷 기반 기업은 공격.red team의 검증을 수없이 받아 왔다. WAF, EDR, SOC 파이프라인도 상당히 단단하게 다듬어진 상태다.

전통 제조업은 그렇지 않다. 보안 투자가 오랫동안 낮게 유지된 주된 이유는 세 가지다.

  1. 주력 사업이 데이터가 아니라 장비 판매다
  2. OT 네트워크와 IT 네트워크가 오랫동안 분리돼 있었다(5G와 산업 인터넷이 연결되면서 상황이 달라졌다)
  3. 규제의 직접적인 압박이 약하다(SOX와 PCI가 바로 적용되지 않는다)

공격자에게 이런 목표의 ROI는 훨씬 높다. 방어가 느슨하고 자산 가치가 높으며, 침투 후 은폐하기 쉽기 때문이다.

Agent red team이 이러한 환경을 상대하는 것은 본질적으로 아주 낮은 한계 비용으로 가장 약한 방어면을 밀어붙이는 일이다.

Agent red team과 전통 자동화 공격의 차이

기존 스크립트와 Burp Suite 자동화의 천장은 고정된 로직 + 정해진 payload + 사람이 해석해야 하는 응답이다.

LLM Agent의 돌파구는 다음 세 가지다.

1. 비정형 응답을 이해한다

Server returned: "Warning: mysql_connect(): Access denied for user 'admin'@'10.0.0.5'..."

기존 자동화는 이 줄을 단순한 문자열로 처리한다. Agent는 여기서 Access denied, 내부망 IP 10.0.0.5, 사용자 이름 admin을 읽어 낸 뒤 “대상은 내부망에 있고, 기본 자격 증명을 사용할 가능성이 있으며, 다음 탐색 대상은 10.0.0.0/24일 수 있다”라고 추론한다.

2. 상황에 따라 전략을 바꾼다

기존 스크립트는 WAF에 차단되면 멈춘다. Agent는 WAF가 반환한 차단 페이지의 HTML을 읽어 Cloudflare인지 ModSecurity인지 확인한다. 그다음 payload 인코딩 방식을 바꾸고 요청 헤더를 조정하며 HTTP/2를 사용하기도 한다.

3. 오류 로그를 읽고 패치를 작성한다

가장 중요한 단계다. Agent는 자신이 만든 exploit을 디버깅하면서 Python/Java traceback을 읽고 오류를 찾아 고친 뒤 다시 실행할 수 있다. 전통적인 침투 테스트 도구에는 이러한 자가 복구 능력이 없다.

세 기능이 결합되면 Agent red team은 기존 자동화보다 1~2자릿수 빠른 속도를 낼 수 있으며, 공격자가 깊이 있는 전문 지식을具备할 필요도 줄어든다.

기업의 공격면은 다시 그려졌다

기존 방어 체계가 전제하는 것은 공격자가 사람이거나 고정된 도구다는 것이다.

  • WAF는 공격자가 알려진 payload 패턴을 사용할 것이라고 가정한다
  • EDR는 멀웨어가 서명이나 행동 특징을 가질 것이라고 가정한다
  • SOC 분석가는 경보에 사람이 작성한 명령어가 나타날 것이라고 가정한다

공격자가 PDF를 읽고, 스크립트를 쓰고, API를 호출할 수 있는 자율 Agent 팀으로 바뀌면 이 가정은 모두 무너진다.

악성 행위가 마치 열심히 일하는 주니어 엔지니어처럼 보이기 때문이다.

  • 명령어가 자연스럽다(nmap, curl, git clone는 모두 합법적인 도구다)
  • 시간 분포가 사람처럼 보인다(사고하는 간격이 있으며 기계처럼 빈번하게 요청하지 않는다)
  • 로그가 읽기 쉽다(눈에 띄는 obfuscation이 없다)

결과적으로 SIEM의 경보가 크게 희석된다. Agent는 WAF를 우회하는 것이 아니라, WAF가 차단해야 할지 판단하기 어렵게 만든다.

방어 측이 따라잡아야 할 것은 특정 규칙 하나가 아니라 자율 Agent의 행동 패턴을 모델링하는 것이다. 이 영역은 현재 거의 비어 있다.

오픈소스 Agent의 무기화: ReAct와 AutoGPT 이후

Agent red team은 갑자기 등장하지 않았다. 학계에서는 여러 해 동안 관련 연구가 이어졌다.

  • Anthropic + METR 2024: Claude Agent의 red team 평가를 공동 발표했다. 실제 침투가 아니라 장기 작업 체인에서의 자율 능력을 측정했다
  • ReAct(2022, Princeton): 추론과 행위를 Agent 루프에 결합한 고전적인 프레임워크
  • AutoGPT(2023): 대중적으로 주목을 받은 최초의 ‘완전 자율 Agent’ 프로젝트
  • PentestGPT(2023): 침투 테스트 전용 Agent이며 GitHub에 오픈소스 구현이 있다

이번 사건에서 달라진 핵심은 학술 논문 → 공개 보도 → 실제 보안 테스트 성공으로 이어진 과정이다.

연구에서 무기화까지의 기간이 1년 남짓으로 짧다는 점이 중요하다. 이제 ReAct, AutoGen, CrewAI, LangGraph 같은 오픈소스 Agent 프레임워크는 개발 도구를 넘어 잠재적 침투 무기가 될 수 있다.

다음은 가장 간결한 ReAct Agent Python 예시다. 코드는十几 줄에 불과하지만 동작 원리를 확인할 수 있다.

from langchain.agents import initialize_agent, Tool
from langchain.llms import OpenAI

# 定义 Agent 能调用的"工具"
tools = [
    Tool(name="nmap", func=lambda target: os.popen(f"nmap {target}").read(), description="网络扫描"),
    Tool(name="search_cve", func=lambda cve: requests.get(f"https://cve.mitre.org/data/{cve}.json").text, description="查 CVE"),
]

# 初始化 ReAct 风格 Agent
agent = initialize_agent(tools, OpenAI(temperature=0), agent="zero-shot-react-description", verbose=True)

# 给定目标
agent.run("对 10.0.0.5 做侦察,找出可利用漏洞并生成 PoC")

이것이 공격자의 진입점이다. 이후 작업은 Agent가 직접 실행한다.

편집자 관점

왜 중요한가: Agent red team의 공개 사례는 기업 보안 방어의 대응 시간 창을 크게 줄였다는 뜻이다. 새 취약점이 등장한 뒤 대규모 악용까지 걸리던 기간은 이전에는 몇 달 단위였지만, 이제 Agent는 하루 종일 작동하며 자율적으로 의사결정할 수 있다. 그 시간 창은 며칠, 심지어 몇 시간으로 줄어들 수도 있다.

기대와 반대되는 관찰: 이 사건이 전통 제조업체의 보안 예산 증가를 곧바로 앞당기지는 않을 것으로 본다. 대기업이 보안 제품을 구매하고 도입하는 과정에는 입찰, 컴플라이언스, 법무 검토 같은 긴 의사결정 주기가 필요하다. 이는 Agent 무기화의 반복 속도보다 훨씬 느리다. 결국,真正的 승자는 SIEM/SOC 업체가 아니라 Agent에 샌드박스와 감사 기능을 제공하는 오픈소스 프레임워크일 가능성이 있다. LangGraph는 이미 사람에 의한 승인 노드를 내장하고 있어, 이 기능이 새로운 기본값이 될 수 있다.

과거와의 차이: Stuxnet(2010)과 WannaCry(2017)는 특정 도구가 특정 대상을 공격했다. 이번에는 범용 Agent 프레임워크와 임의의 대상이 결합됐다. 공격 비용은 구조적으로 감소하는 반면 방어 비용——인력 양성, 도구 구매, 프로세스 설계——은 선형으로 증가한다. 이 격차는 앞으로 12개월 동안 더 벌어질 가능성이 크다.

확인되지 않은 부분: 보도에는 어떤 Agent 프레임워크를 사용했는지가 명확히 밝혀지지 않았다. Cummins에 대한 침투가 실제로 발생했는지, 아니면 Responsible Disclosure 과정에서 수정됐는지도 확정되지 않았다. 이러한 세부는 The Verge의 후속 보도나 연구자의 기술 블로그가 공개돼야 확인할 수 있다.

출처: https://www.theverge.com/ai-artificial-intelligence/1013643/ai-agents-hack-john-deere-shark-ninja-cummins