上週 The Verge 刊出一篇報導,描述一個越來越明顯的趨勢:網站不再只是被動防堵爬蟲,而是開始主動辨識 AI Agent 的瀏覽器自動化行為並加以封鎖。Hacker News 上的討論串(#50141657)獲得 45 個讚與 30 則留言;熱度雖然不算爆炸,但參與者都是技術圈人士,討論也算認真。
這件事值得關注,是因為 Agent 業者把「模擬真人操作」當成核心賣點,而正是這個賣點,讓產品在正式環境中寸步難行。Operator 與 Computer Use 這類產品,正撞上一堵肉眼可見的牆。
傳統爬蟲好擋,Agent 難防
過去要防爬蟲,只要檢查 UA(User-Agent)通常就夠了。Python 的 requests 函式庫預設 UA 是 python-requests/2.31.0,完全不用修改,伺服器只要一行規則就能攔下來:
# nginx 裡的典型反爬規則
if ($http_user_agent ~* "python-requests|scrapy|httpclient") {
return 403;
}
進階爬蟲會偽造 UA、加上 Referer、模擬 cookie,但行為模式仍騙不過人:每秒發出數十次請求、IP 高度集中、請求間隔精確到毫秒,這類統計特徵很容易被捕捉。Cloudflare、Akamai 等 CDN 業者十幾年來就是靠販售反爬服務維生。
AI Agent 則不同。它執行的是 Chrome/Chromium,透過 CDP(Chrome DevTools Protocol)控制真正的瀏覽器程序,可以使用真人 cookie、執行 JavaScript 渲染頁面、模擬滑鼠軌跡與鍵盤輸入間隔,甚至處理 CAPTCHA。
舉例來說,Anthropic 的 Computer Use 本質上是讓 Claude 具備觀看螢幕、操作滑鼠與鍵盤的能力,底層分別呼叫 xdotool(Linux)、AppleScript(macOS)與 UI Automation(Windows)。OpenAI 的 Operator 走的也是相近路線,也就是自動化瀏覽器核心。
這類工具送出的請求,無論單看 UA 或單次行為,都與真人幾乎沒有差別。
這代表:
- 傳統 UA 黑名單失效
- 頻率統計失效,因為真人本來也可能快速點擊
- IP 聲譽失效,因為 Agent 可能使用住宅代理,與真人 IP 混在一起
- 驗證碼失效,因為 Agent 可以辨識 CAPTCHA,甚至付費交給打碼服務處理
但辨識難度上升是呈指數級增加,並不代表完全無解。
以下幾個維度仍然有效:
- 瀏覽器指紋:即使使用真正的 Chrome,自動化框架(Playwright、Puppeteer、Selenium)仍會留下特定指紋。
navigator.webdriver在自動化模式下預設為true;雖然能修改,但修改後的組合特徵仍會被統計模型捕捉。 - 行為時序:真人操作會有自然停頓、猶豫與回退;Agent 的操作模式偏機械,缺少反映思考過程的「認知延遲」。
- CDP 協定特徵:瀏覽器自動化工具透過 DevTools 協定通訊,網路層會出現特定握手模式,與一般 HTTP 請求不同。
- 硬體層級指紋:TPM(可信平台模組)等硬體指紋,是目前最難繞過的偵測點之一。
Cloudflare 的 AI Bot 攔阻產品,就是把上述維度整合起來使用。The Verge 的報導點出一項關鍵細節:Cloudflare 與 Akamai 已經介入。這不再是單一網站的防衛,而是協定層級的攔截。
封鎖理由改變:不只是版權,而是錢
網站最初阻止 AI,主要是擔心內容被拿去訓練模型。從 2023 年到 2024 年初,新聞網站(紐約時報、CNN)、社群平台(Reddit、X)與程式碼託管平台(GitHub)都推出 robots.txt 規則,封鎖 GPTBot、ClaudeBot 等爬蟲。
邏輯很單純:內容是成本,免費提供給模型訓練並不划算。
但 The Verge 的報導揭示了新的封鎖理由:錢。
- AI Agent 代替使用者搶演唱會門票,導致票價被炒高,正常使用者反而買不到
- 搶限量球鞋,例如 Nike SNKRS 抽籤與 Supreme 发售
- 刷電商秒殺、薅羊毛及批次領取優惠券
- 探測飯店與機票價格後,再以 AI 自動下單占用庫存
- 黃牛以 Agent 同時監控十多個平台,人工根本難以競爭
這些行為突破了傳統反爬設計所依賴的「頻率限制」假設——真人確實也可能快速點擊,只是無法保持如此穩定的頻率。對平台而言,這些行為造成的商業損失卻是實實在在的。
The Verge 報導引述的說法大意是,網站營運方發現 Agent 不只會「讀取」頁面,還會「消費」內容:下單、占用庫存、製造流量,而這些行為都會直接傷害 GMV(商品交易總額)。
這與防止模型訓練是兩種不同問題。阻止訓練,靠 robots.txt 加上 UA 黑名單,大約就能擋下 80%。阻止 Agent 消費內容,則必須精準區分真人與機器操作,而且要在毫秒級作出判斷。
CDN 已介入:Cloudflare 與 Akamai 推出 AI Bot 專項規則
這場攻防戰最值得深入看的,是 CDN 業者的介入。
The Verge 報導提到,Cloudflare 與 Akamai 都已推出「AI Bot」專項攔阻產品。Cloudflare 的方案稱為 AI Bot Management,核心包括:
- 以機器學習模型辨識自動化瀏覽器流量
- 共用傳統 Bot Management 的基礎設施,但針對 AI Agent 最佳化偵測維度
- 提供「挑戰」機制,偵測到 Agent 時顯示驗證碼或 JS 挑戰;無法通過便予以阻擋
- 客戶(網站平台營運方)可以一鍵啟用,不必自行撰寫規則
CDN 介入為何重要?
Cloudflare 服務全球超過 20% 的網站,Akamai 的覆蓋率更高。任何接入這兩家業者的網站,都能直接使用現成的 Agent 攔阻功能。過去要防止爬蟲,網站必須自行部署 WAF(Web 應用程式防火牆)、撰寫規則並維護黑名單;現在只要開啟一個選項即可。
更棘手的是,CDN 業者掌握全網流量資料。他們看到的不只是單一網站的行為,還能跨站比較橫向模式。同一個 IP 區段若在 100 個網站都被標記為自動化,這份聲譽可以即時同步。
這對 Agent 產品無疑是降維打擊——無論如何偽裝單站行為,跨站模式仍然藏不住。
從程式碼層面來看,Cloudflare 攔阻 Agent 時通常會回傳 403,有時則提供 JS 質詢頁:
// Cloudflare 的 JS 質詢(簡化版)
(function() {
var a = document.createElement("input");
a.name = "cf_chl_opt";
// ... 一堆混淆程式碼,要求瀏覽器計算特定值
})();
Playwright 預設的 Chromium 執行這段程式時會失敗,除非使用 stealth 外掛或其他指紋偽造方案。然而,stealth 本身也已被指紋資料庫收錄。這場攻防會持續下去,而且防守方的成本遠低於進攻方。
Operator 與 Computer Use 撞上高牆
Anthropic 的 Computer Use 與 OpenAI 的 Operator,產品邏輯相同:讓 AI 觀看螢幕並操作 GUI(圖形介面)。
聽起來很酷,但本質上是最脆弱的部署形式。
原因很簡單:
- 瀏覽器自動化天然容易觸發風控,也就是前述的偵測維度
- 它走 GUI 而非 API,資訊密度低、操作緩慢,也更容易被辨識
- 一旦遭到攔阻,沒有可行的降級方案;不能讓 Operator 改走 API 下單,因為商家並未授予 API 權限
Anthropic 與 OpenAI 押注這個方向,賭的是「AI 能像真人一樣使用所有應用程式」。如今,這個前提正受到基礎設施的挑戰。
與普遍看法相反的是:投入最多資金、行銷預算最高的產品,反而卡在最基礎的一環。
Computer Use 的示範影片中,Claude 替使用者訂外送、填寫表單,流暢得像真人。但部署到正式環境後,訂外送這一步很可能被 DoorDash、Uber Eats 的風控攔下(原文的「DoorSquare」是誤植)。Anthropic 也沒有與這些商家洽談合作。
Operator 採綁定 ChatGPT Pro 訂閱的路线,OpenAI 則親自與 Shopify、Instacart、DoorDash 洽谈合作。但 The Verge 的報導刊出後,這些商家的風控團隊勢必重新評估風險:Agent 流量可能被直接列入黑名單。合作是一回事,流量准入是另一回事,兩者不能混為一談。
未來 12 個月會發生什麼
我的判斷是:Agent 不會消失,而是被迫轉向專用通道。
具體路線如下:
Anthropic 的選擇:API 合作。與 SaaS(軟體服務業者)平台洽談,由商家開放 API,讓 Claude 透過 API 呼叫,而不是操作 GUI。Anthropic 已在進行這項工作,Notion 等平台也已合作;但速度較慢。API 整合需要工程資源,而且未必排在商家的優先事項。
OpenAI 的選擇:商家白名單。向合作夥伴發放「可信 Agent」白名單,允許它們操作 GUI,但必須攜帶特定 token。OpenAI 正在推動這條路徑,但商家願意配合的程度仍是未知數。
Agent 業者的通用解法:專用瀏覽器核心+商家協定。建立類似 MCP(模型上下文協定)的「Agent 協定標準」,由商家主動宣告哪些操作允許 Agent 使用。這是最理想的方案,但標準化至少需要 18 個月。
現實是,未來 12 個月內,Agent 的普及速度將顯著放慢。
這不是因為技術能力不足。Computer Use 與 Operator 的模型能力沒有問題。
真正的原因是商業基礎設施跟不上。
一項數據是:The Verge 報導引用的研究顯示,大約 37% 的網站已經部署某種形式的 AI Bot 攔阻,而且這個比例仍在上升。
Agent 業者接下來會做兩件事:一方面加速與商家合作,Anthropic 與 OpenAI 已在洽談;另一方面使用住宅代理 IP 與 stealth 瀏覽器。這等於把成本轉嫁給網站,但 CDN 一旦更新規則,成本又會繼續上升。攻防將持續進行,而防守方總是領先半步。
編輯觀察
這件事為何重要?因為它正在動搖「以模擬操作為核心、Drive 數萬個 Agent」這條賽道的商業可行性。Computer Use 與 Operator 並非輸在模型能力,而是輸在缺乏商家授權的商業通道。
我的預測,或許與主流看法相反:Anthropic 與 OpenAI 會在 6 至 9 個月內降低 Computer Use/Operator 的商業化優先級,把資源轉向以 API 整合為主的 Agent 形態。原因不是技術問題,而是投入無法帶來 ROI。這與 2024 年 Google 砍掉一批仍處於示範階段的產品有點相似:基礎設施尚未成熟時,押注 GUI 自動化是錯誤的配置。
這件事與過去的情况有何不同?過去 20 年的 Bot 攻防都是「網站對抗爬蟲」,目標是資訊,成本低且規模有限。這次則是「網站對抗操作型 AI」,目標包含消費行為,會直接影響 GMV。Cloudflare、Akamai 等基礎設施業者介入,意味著這不是少數網站的個別問題,而是整個 Web 協定層正在排斥 Agent。
目前仍不確定的是:住宅代理加 stealth 瀏覽器能否取得實質進展。如果雲端業者進一步封鎖代理 IP 池,Agent 業者可能會徹底放棄 GUI 路線,轉而押注 API 合作。但也存在另一種可能:大廠直接收購 stealth 瀏覽器新創公司,將攻防成本內部化。Anthropic 與 OpenAI 都有能力採取這條路。
真正的護城河從來不是「AI 多會點網頁」,而是能否與商家談成合作並取得授權。