上周 The Verge 发了篇报道,讲一个越来越明显的趋势:网站不再只是被动防爬虫,而是主动识别 AI Agent 的浏览器自动化行为,然后封掉。Hacker News 上这个 thread (#50141657) 拿了 45 赞 30 条评论,讨论热度不算爆但都是技术圈的人在认真聊。
这件事为什么值得写——因为 Agent 厂商把"模拟人类操作"当核心卖点,结果正是这个卖点让它们在生产环境里寸步难行。Operator 和 Computer Use 这种产品,正在撞上一堵肉眼可见的墙。
传统爬虫好挡,Agent 难防
过去防爬虫,看 UA (User-Agent) 就够了。Python requests 库默认 UA 是 python-requests/2.31.0,一个字不改,服务端一行规则就拦下来:
# nginx 里的典型反爬规则
if ($http_user_agent ~* "python-requests|scrapy|httpclient") {
return 403;
}
进阶爬虫会伪造 UA、加 Referer、模拟 cookie。但行为模式骗不了人:每秒几十次请求、IP 集中、请求间隔精确到毫秒,这种统计学特征一抓一个准。Cloudflare、Akamai 这些 CDN 厂商十几年来就靠卖"反爬"吃饭。
AI Agent 不一样。它跑的是 Chrome / Chromium,用 CDP (Chrome DevTools Protocol) 控制一个真实浏览器进程。能拿真人 cookie,能跑 JavaScript 渲染页面,能模拟鼠标轨迹、键盘敲击间隔,甚至能处理 CAPTCHA。
举个具体的例子。Anthropic 的 Computer Use 本质上是给 Claude 装了一套看屏幕、操作鼠标键盘的能力,背后调用的是 xdotool (Linux)、AppleScript (macOS)、UI Automation (Windows)。OpenAI 的 Operator 走的是类似的路线——浏览器内核自动化。
这类工具生成的请求,单看 UA 和单次行为,跟真人几乎没区别。
这意味着:
- 传统的 UA 黑名单失效
- 频率统计失效(用户本来也可能高频点击)
- IP 信誉失效(可能走住宅代理,跟真人 IP 混在一起)
- 验证码失效(Agent 能识别或者付费打码)
但识别难度上升是指数级的,不是"无解"。
下面说几个仍然有效的检测维度:
- 浏览器指纹:哪怕用真实 Chrome,自动化框架 (Playwright、Puppeteer、Selenium) 会留下特定指纹。
navigator.webdriver在自动化模式下默认是true,虽然能改,但改完的组合特征会被统计学模型捕获。 - 行为时序:真人操作有自然的停顿、犹豫、回退。Agent 的操作模式偏机械,缺少"认知延迟"。
- CDP 协议特征:浏览器自动化工具通过 DevTools 协议通信,网络层会有特定握手模式,不是普通 HTTP 请求。
- 硬件级指纹:TPM (可信平台模块) 等硬件指纹,是目前最难绕过的检测点。
Cloudflare 的 AI Bot 拦截产品就是把这些检测点综合起来用。The Verge 那篇报道里点了一个关键细节:Cloudflare 和 Akamai 已经下场了。这不再是单个网站的防御,是协议级别的拦截。
封禁理由变了:不只是版权,是钱
最早网站防 AI,是怕被拿去训练模型。2023 年到 2024 年初,新闻网站 (纽约时报、CNN)、社交平台 (Reddit、X)、代码托管 (GitHub) 都在推 robots.txt 规则、屏蔽 GPTBot、ClaudeBot 这些爬虫。
逻辑很简单:内容是成本,被白嫖训练不划算。
但 The Verge 这篇报道带出了新的封禁理由:钱。
- AI Agent 代用户抢演唱会票,导致票价被炒高,正常用户买不到
- 抢限量球鞋 (Nike SNKRS 抽签、Supreme 发售)
- 刷电商秒杀、薅羊毛、批量抢优惠券
- 酒店/机票价格探测后用 AI 自动下单占库存
- 黄牛用 Agent 同时监控十几个平台,人工根本抢不过
这些行为绕过了传统反爬的"频率限制"假设——真人确实也可能高频点击,只是不会这么稳定。但对平台来说,商业损失是实打实的。
引用 The Verge 报道里的原话大意:网站运营方发现,Agent 不仅会"读"页面,还会"消费"内容——下单、占库存、刷流量,而这些行为直接伤害 GMV (商品交易总额)。
这跟防训练是两类问题。防训练,robots.txt 加 UA 黑名单就能挡 80%。防 Agent 消费,必须精确区分"真人操作"和"机器操作",而且要在毫秒级做出决策。
CDN 已经下场:Cloudflare 和 Akamai 上线 AI Bot 专项规则
这是这次攻防战最值得展开的部分。
The Verge 报道里提到,Cloudflare 和 Akamai 都上线了"AI Bot"专项拦截产品。Cloudflare 的方案叫 AI Bot Management,核心卖点:
- 用机器学习模型识别自动化浏览器流量
- 跟传统 Bot Management 共享基础设施,但检测维度专门优化
- 提供"挑战"机制——检测到 Agent,弹验证码或者 JS 挑战,绕不过就阻断
- 客户 (网站平台运营方) 可以一键开启,无需自己写规则
为什么 CDN 介入意义重大?
Cloudflare 服务全球 20%+ 的网站,Akamai 更高。任何接入这两家的网站,开箱即用就能拦 Agent。以前要做反爬,网站得自己部署 WAF (Web 应用防火墙)、自己写规则、自己维护黑名单。现在一个开关的事。
更狠的是,CDN 厂商手里有全网流量数据。他们能看到的不是单个网站的行为,是横向跨站的行为模式。一个 IP 段如果在 100 个网站都被标记为"自动化",这个信誉可以实时同步。
这对 Agent 产品是降维打击——你再怎么伪装单站行为,跨站模式藏不住。
举个代码层面的例子。Cloudflare 拦截 Agent 通常返回 403,有时候返回的是一个 JS 质询页:
// Cloudflare 的 JS 质询(简化版)
(function() {
var a = document.createElement("input");
a.name = "cf_chl_opt";
// ... 一堆混淆代码,要求浏览器计算特定值
})();
Playwright 默认的 Chromium 跑这个会失败,除非你用 stealth 插件或者其他指纹伪造方案。但 stealth 本身也已经被指纹数据库收录。攻防没完没了,但防守方的成本远低于进攻方。
Operator 和 Computer Use 撞上这堵墙
Anthropic 的 Computer Use 和 OpenAI 的 Operator,产品逻辑都是同一个:让 AI 看屏幕、操作 GUI (图形界面)。
听起来酷,但本质上是最脆弱的部署形态。
原因很简单:
- 浏览器自动化天然触发风控(见上面的检测维度)
- 走的是 GUI 而不是 API,信息密度低、操作慢、易被识别
- 一旦被拦截,没有降级方案——你不能让 Operator "走 API" 下单,因为商家没给它开 API 权限
Anthropic 和 OpenAI 押注这个方向,赌的是"AI 能像人一样用所有应用"。现在这个前提正在被基础设施动摇。
反共识角度:大厂花最多钱、最多营销预算的产品,卡在最基础的一环。
Computer Use 的 demo 视频里 Claude 帮用户订外卖、填表格,流畅得像真人。但真实部署到生产环境,订外卖那个环节大概率会被 DoorDash、Uber Eats 的风控拦下来(原"DoorSquare"是手误)。Anthropic 没有跟这些商家谈任何合作。
Operator 走的是 ChatGPT Pro 订阅路线,OpenAI 自己下场跟 Shopify、Instacart、DoorDash 谈合作。但 The Verge 这篇报道出来之后,这些商家的风控团队会重新评估风险——Agent 流量可能直接被加黑名单,合作归合作,流量归流量,两码事。
未来 12 个月会发生什么
我的判断:不是 Agent 死,是 Agent 被逼着走专用通道。
具体路径:
Anthropic 的选择:API 合作。跟 SaaS (软件服务商) 平台谈,让商家开放 API,Claude 通过 API 调用而不是 GUI 操作。这个 Anthropic 已经在做,Notion 等都在合作。但这条路慢。API 集成需要工程资源,商家优先级不一定高。
OpenAI 的选择:商家白名单。给合作伙伴发"可信 Agent"白名单,允许它走 GUI 但带特定令牌 (token)。这条路 OpenAI 在推,但商家配合度未知。
Agent 厂商的通用解法:专用浏览器内核 + 商家协议。类似 MCP (模型上下文协议) 那套,搞一个"Agent 协议标准",让商家主动声明哪些操作对 Agent 开放。这条路最理想,但标准化周期至少 18 个月。
现实是,12 个月内 Agent 普及速度会被显著拖慢。
不是因为技术不行——Computer Use 和 Operator 的模型能力没问题。
是因为商业基础设施跟不上。
一个数据点:The Verge 报道引用的研究,大约 37% 的网站已经部署了某种形式的 AI Bot 拦截。这个数字还在涨。
Agent 厂商下一步会做两件事:一边加速推商家合作 (Anthropic、OpenAI 已经在谈),一边搞住宅代理 IP + stealth 浏览器。这本质上是把成本转嫁给网站方——但 CDN 一升级规则,成本又涨。攻防会持续,防守方永远领先半步。
编辑思考
这件事为什么重要——它在动摇"模拟操作 AI 上万个 Agent"这条赛道的商业可行性。Computer Use 和 Operator 不是败给模型能力,是败给没有被商家授权的商业通道。
我的预测(可能反共识):Anthropic 和 OpenAI 会在 6-9 个月内降低 Computer Use / Operator 的商业化优先级,把资源转向 API 集成的 Agent 形态。原因不是技术,是被这堵墙堵得没 ROI。这跟 2024 年 Google 砍掉一堆 demo 阶段产品的逻辑类似——基础设施不成熟的时候,押注 GUI 自动化是错配。
这件事和过去哪些事不同——过去 20 年 Bot 攻防都是"网站 vs 爬虫",目标都是信息,成本低、规模有限。这次是"网站 vs 操作类 AI",目标包括消费行为,直接动 GMV。Cloudflare、Akamai 这种基础设施层下场,意味着这不是个别网站的问题,是整个 Web 协议层在排斥 Agent。
不确定的地方:住宅代理 + stealth 浏览器这条路会不会有实质性进展。如果云厂商进一步封锁代理 IP 池,Agent 厂商可能彻底放弃 GUI 路线,押注 API 合作。但还有一种可能——大厂直接收购 stealth 浏览器创业公司,把攻防成本内化。这条路 Anthropic、OpenAI 都有能力走。
护城河从来不是"AI 多会点网页",是能不能谈下商家合作拿到授权。