지난주 The Verge가 보도한 내용에 따르면,웹사이트들이 더 이상 크롤러를 passively 막는 데 그치지 않고,AI Agent의 브라우저 자동화 행동을主动적으로 탐지해 차단하기 시작했다.Hacker News의 해당 thread(#50141657)는 추천 45, 댓글 30개를 기록했는데,화제성 자체는 폭발적이지 않더라도 기술 커뮤니티 사람들이 진지하게 논의하고 있다.
이 사건이 주목할 만한 이유다:Agent厂商들은 '인간 조작 시뮬레이션'을 핵심卖点로 내세웠는데,바로 그卖点 때문에 production 환경에서 step을 내딛지 못하고 있다.Operator와 Computer Use 같은 제품들이 눈에 보이는 벽에 부딪히고 있는 셈이다.
전통적 크롤러는 막기 쉽고,Agent는 막기 어렵다
과거의 크롤러 차단이라면 UA (User-Agent) 만 확인하면 충분했다.Python requests 라이브러리의 기본 UA는 python-requests/2.31.0이라,아무것도 수정하지 않아도 서버 측에서 한 줄 규칙으로 막을 수 있었다:
# nginx의典型적인 크롤러 차단 규칙
if ($http_user_agent ~* "python-requests|scrapy|httpclient") {
return 403;
}
고급 크롤러는 UA 위조,Referer 추가,cookie 시뮬레이션까지 하지만,행동 패턴까지 속이긴 어렵다.초당 수십 회 요청,IP 집중,요청 간격이 밀리초 단위로 정밀한 통계적 특징은 잡히고 말았다.Cloudflare,Akamai 같은 CDN厂商들은十几 년간 '크롤러 차단'으로 먹고살았다.
AI Agent는 다르다.Chrome / Chromium 위에서 CDP (Chrome DevTools Protocol)로 실제 브라우저 프로세스를 제어한다.실제 사용자 cookie를 가져올 수 있고,JavaScript 렌더링을 돌릴 수 있으며,마우스 궤적과 키보드 입력 간격까지 시뮬레이션 가능하다.CAPTCHA 처리도 된다.
구체적인 예시를 들어보자.Anthropic의 Computer Use는 본질적으로 Claude에게 화면을 보고, 마우스와 키보드를 조작하는 능력을 부여한 것이고,내부적으로는 xdotool (Linux), AppleScript (macOS), UI Automation (Windows)을 호출한다.OpenAI의 Operator도 유사한 방식으로,브라우저 엔진 자동화에 접근한다.
이런 도구들이 생성하는 요청은 UA 하나만 보거나 단발적인 행동만 관찰하면 실제 사용자와 거의 구별이 안 된다.
이 말은 곧:
- 전통적 UA 블랙리스트가失效
- 요청 빈도 통계가失效(원래 사용자가 자주 클릭할 수도 있다)
- IP 평판 검증이失效(주거용 proxy를 쓰면 실제 사용자 IP와 섞인다)
- CAPTCHA가失效(Agent가 풀거나 유료 캡차 우회 서비스를 쓴다)
하지만 탐지 난이도가 지수적으로 올라간 것뿐이지,'해결 불가능'하다는 뜻은 아니다.
아래는 여전히 유효한 탐지 차원이다:
- 브라우저 핑거프린트:실제 Chrome을 써도 자동화 프레임워크(Playwright, Puppeteer, Selenium)는 특정한 핑거프린트를 남긴다.
navigator.webdriver는 자동화 모드에서 기본값이true인데,바꿀 수는 있지만 변경 후 조합 특징이 통계 모델에 잡힌다. - 행동 시퀀스:실제 사용자는 자연스러운 멈춤, 망설임, 되돌리기가 있다.Agent의 조작 패턴은 기계적이라 '인지 지연'이 부족하다.
- CDP 프로토콜 특징:브라우저 자동화 도구는 DevTools 프로토콜로 통신하므로,네트워크 계층에서 일반 HTTP 요청과 구별되는 핸드셰이크 패턴이 나타난다.
- 하드웨어 레벨 핑거프린트:TPM (신뢰할 수 있는 플랫폼 모듈) 등 하드웨어 핑거프린트는 현재로써 가장 우회하기 어려운 탐지 요소다.
Cloudflare의 AI Bot 차단 제품이 바로 이 탐지 요소들을 종합적으로 활용한다.The Verge 보도에서 짚은 핵심 디테일이 있다:Cloudflare와 Akamai가 이미 참전했다.이제 개별 사이트의 방어가 아니라 프로토콜 레벨의 차단이다.
차단 이유가 달라졌다:저작권만이 아니라 돈 문제
최초로 AI를 차단한 웹사이트들은 모델 학습에 데이터가 수집될까 두려워서였다.2023년부터 2024년 초까지,뉴스 사이트(뉴욕타임즈, CNN), 소셜 플랫폼(Reddit, X), 코드 호스팅(GitHub) 모두 robots.txt 규칙을 정비하고 GPTBot, ClaudeBot 같은 크롤러를 차단했다.
논리는 단순하다:콘텐츠는 비용인데,무료로 학습에 가져가는 건 손해라는 것.
그런데 The Verge 보도가 가져온 새로운 차단 이유가 있다:돈.
- AI Agent가 사용자 대신 콘서트 티켓을抢抢해 가격을 부풀리고,일반 사용자는 살 수 없게 만든다
- 한정판 스니커즈抢抢(Nike SNKRS 추첨, Supreme 발매)
- 이커머스 선착순,羊毛(羊毛),쿠폰 일괄抢抢
- 호텔/항공권 가격 탐지 후 AI가 자동으로 재고를 잡아두기
- 황소(투기자)가 Agent로 열 개 넘는 플랫폼을 동시 모니터링,사람은 상대가 안 된다
이런 행위는 전통적 크롤러 차단의 '빈도 제한' 가정을 우회한다 — 실제 사용자도 자주 클릭은 하지만,이렇게 안정적이지는 않다.그렇다 해도 플랫폼 입장에서는 매출 손해가实实在在하다.
The Verge 보도의 취지를 빌리자면:웹사이트 운영자들은 Agent가 단순히 페이지를 '읽'는 데 그치지 않고 콘텐츠를 '소비'한다는 사실을 발견했다 —下单,재고 점유,트래픽 生成이 GMV (상품 거래 총액)를 직접적으로 해친다는 것이다.
이건 학습 차단과는 결이 다른 문제다.학습 차단은 robots.txt와 UA 블랙리스트로 80% 막을 수 있다.Agent의 콘텐츠 소비를 막으려면 '사람의 조작'과 '기계의 조작'을 정밀하게 구분해야 하고,밀리초 단위로 판단해야 한다.
CDN이 참전했다:Cloudflare와 Akamai의 AI Bot 전용 규칙
이번攻防戰에서 가장 자세히 풀어볼 부분이다.
The Verge 보도에 따르면 Cloudflare와 Akamai 모두 'AI Bot' 전용 차단 제품을 출시했다.Cloudflare의 솔루션은 AI Bot Management라 불리며,핵심卖点:
- 머신러닝 모델로 자동화 브라우저 트래픽 식별
- 전통적 Bot Management와 인프라 공유하되 탐지 차원은 전용 최적화
- '챌린지' 메커니즘 제공 — Agent 탐지 시 CAPTCHA 또는 JS 챌린지 제시,우회 실패 시 차단
- 고객(웹사이트 운영자)이 규칙 작성 없이 스위치 하나로启用
CDN의介入가 왜 의미 있는가?
Cloudflare는 전 세계 웹사이트의 20% 이상을,Akamai는 그 이상을 처리한다.이 두 곳 중 어디接入하든,박스에서 꺼내자마자 Agent를 막을 수 있다.예전에는 크롤러 차단을 하려면 사이트 자체에서 WAF (Web Application Firewall)를部署하고,규칙을 직접 작성하고,블랙리스트를 직접 관리해야 했다.지금은 스위치 하나면 끝이다.
더 잔인한 건,CDN厂商들이 보유한 전網 트래픽 데이터다.그들이 보는 건 단일 사이트의 행동이 아니라 사이트를 횡단하는 행동 패턴이다.한 IP 대역이 100개 사이트에서 '자동화'로 마킹되어 있다면,이 평판이 실시간으로 동기화될 수 있다.
Agent 제품 입장에서는 차원이 다른 타격이다 — 단일 사이트 행동을 아무리 위장해도 사이트 횡단 패턴은 숨길 수 없다.
코드 레벨 예시를 들자면.Cloudflare는 Agent 차단 시 보통 403을 반환하고,때때로 JS 챌린지 페이지를 반환한다:
// Cloudflare의 JS 챌린지(簡化版)
(function() {
var a = document.createElement("input");
a.name = "cf_chl_opt";
// ... 난독화된 코드가 특정 값 계산을要求
})();
Playwright의 기본 Chromium으로 이걸 돌리면 실패한다,除非 stealth 플러그인이나 다른 핑거프린트 위조 솔루션을 쓴다.하지만 stealth 자체도 이미 핑거프린트 데이터베이스에 등록되어 있다.攻防는 끝이 없지만,방어 쪽 비용이 공격 쪽보다 압도적으로 낮다.
Operator와 Computer Use가 이 벽에 부딪히다
Anthropic의 Computer Use와 OpenAI의 Operator는 동일한 제품 로직을 가진다:AI가 화면을 보고 GUI (그래픽 인터페이스)를 조작하게 한다.
듣기에는 멋지지만,본질은 가장 취약한 배포 형태다.
이유는 단순하다:
- 브라우저 자동화는 본래 风控를 유발한다(위의 탐지 차원 참조)
- GUI 경로를 타서 API 경로 대비 정보 밀도가 낮고 조작이 느리며 탐지당하기 쉽다
- 한 번 차단당하면 대체 경로가 없다 — Operator에게 'API 경로로下单해'라고 시킬 수 없다.상거래 측에서 API 권한을 안 줬으니까.
Anthropic과 OpenAI는 이 방향에 베팅했는데,그 전제는 'AI가 사람처럼 모든 앱을 쓸 수 있다'였다.지금은 그 전제가 인프라에 의해 흔들리고 있다.
反공감각적 관점:대기업이 가장 많은 돈과 마케팅 예산을 쓴 제품이 가장 기초적인 한 고리에 걸려 있다.
Computer Use 데모 영상에서 Claude는 음식을 주문하고,양식을 작성하며,진짜 사람처럼 매끄럽게 움직인다.하지만 실제 production 환경에 배포하면,음식 주문 단계에서 DoorDash나 Uber Eats의 风控에 막힐 확률이 높다.Anthropic이 해당 업체들과 그 어떤 협력 관계도 맺지 않았기 때문이다.
Operator는 ChatGPT Pro 구독 노선을 택했고,OpenAI가 직접 Shopify,Instacart,DoorDash와 협상을 시작했다.하지만 The Verge 보도가 나오고 나면 이 업체들의 风控 팀이 리스크를 재평가할 것이다 — 협력이든 뭐든 Agent 트래픽은 그대로 블랙리스트 추가 대상이다.거래는 거래고,트래픽은 트래픽이다,별개 문제다.
향후 12개월에 일어날 일
내 판단:Agent의 죽음이 아니라,Agent가 전용 통로로 밀려나는 것이다.
구체적인 경로:
Anthropic의 선택:API 협력.SaaS (소프트웨어 서비스) 플랫폼과 협상해商家들이 API를 개방하고,Claude는 GUI 조작 대신 API를 호출하게 한다.이건 이미 진행 중이며,Notion 등이 협력 중이다.다만 이 길은 더디다.API 통합에는 엔지니어링 리소스가 필요하고,商家의 우선순위가 높지 않을 수 있다.
OpenAI의 선택:商家 화이트리스트.파트너사들에게 '신뢰할 수 있는 Agent' 화이트리스트를 발급해 GUI 경로를 쓰되 특정 토큰(token)을 휴대하게 한다.이 길은 OpenAI가 추진 중이지만,商家의 협조도는未知數.
Agent厂商들의 범용 해법:전용 브라우저 엔진 +商家 프로토콜.MCP (모델 컨텍스트 프로토콜)처럼,Agent 프로토콜 표준을 만들어商家가 Agent에 개방할 조작을主动 선언하게 한다.이 길이 가장 이상적이지만,표준화 사이클은 최소 18개월이다.
현실은,12개월 내 Agent 보급 속도가 significant하게 늦춰진다.
기술이 안 되는 게 아니다 — Computer Use와 Operator의 모델 능력은 문제없다.
상업 인프라가 따라가지 못해서다.
데이터 한 개:The Verge가引用한 연구에 따르면,약 37%의 웹사이트가 이미 어떤 형태의 AI Bot 차단을部署했다.이 숫자는 여전히 올라가는 중이다.
Agent厂商들은 다음 두 가지를 동시에 할 것이다:한쪽으로商家 협력 가속(Anthropic, OpenAI 이미 진행 중),다른 한쪽으로 주거용 proxy IP + stealth 브라우저 보급.이는 본질적으로 비용을 웹사이트 측으로 전가하는 것이지만,CDN이 규칙을 업그레이드하면 비용은 또 오른다.攻防는 계속되며,방어 쪽이 항상 반 발자국 앞서게 된다.
편집자 생각
이 사건이 왜 중요한가 — '조작 시뮬레이션 AI,만 개의 Agent'라는賽道의 상업적 실현 가능성을 뒤흔들고 있다.Computer Use와 Operator는 모델 능력에 진 게 아니라,商家의 권한을 받지 못한 상업적 통로에 막힌 것이다.
내 예측(反공감일 수도 있다):Anthropic과 OpenAI는 6~9개월 내에 Computer Use / Operator의 상업화 우선순위를 낮출 것이다,리소스를 API 통합형 Agent 형태로 전환할 가능성이 높다.이유는 기술이 아니라,이 벽에 막혀 ROI가 나오지 않기 때문이다.이건 2024년 Google이 데모 단계 제품들을 잘라낸 로직과 비슷하다 — 인프어가 성숙하지 않을 때 GUI 자동화에 베팅하는 건 자원이 잘못 배분된 거다.
이 사건이 과거의 다른 사건들과 뭐가 다른가 — 지난 20년간 Bot攻防는 늘 '웹사이트 vs 크롤러'였고,목표는 전부 정보였으며,비용은 낮고 규모는 제한적이었다.이번엔 '웹사이트 vs 조작형 AI'이고,목표에는 소비 행동이 들어 있어 GMV를 직접 건드린다.Cloudflare,Akamai 같은 인프라 레이어의 참전은 이게 개별 사이트 문제가 아니라 Web 프로토콜 레이어 전체에서 Agent를排斥하고 있다는 뜻이다.
확실하지 않은 점:주거용 proxy + stealth 브라우저 길이 실질적 진전을 이룰지.클라우드厂商들이 프록시 IP 풀을 더 강력히 차단하면,Agent厂商들은 GUI 노드를 완전히 포기하고 API 협력에 베팅할 수 있다.하지만 다른 가능성도 있다 — 대기업이 stealth 브라우저 스타트업 자체를 인수해攻防 비용을 내부화하는 것.Anthropic과 OpenAI 모두 이 길을 갈 능력이 있다.
진정한 해자가 'AI가 페이지를 얼마나 잘 클릭하느냐'가 아니라,商家 협력과 권한 확보를 해낼 수 있느냐는 점이다.