觀點

網站集體封鎖 AI Agent:Operator 與 Computer Use 遭遇瓶頸

AI Agent 模擬真人操作瀏覽器的做法,正遭遇 Cloudflare、Akamai 等 CDN 業者以跨站流量分析與自動化指紋進行攔截。Anthropic 與 OpenAI 的旗艦產品雖具備模型能力,卻因缺乏商家授權與成熟商業通道,商業化前景面臨考驗。

字級

上週 The Verge 刊出一篇報導,描述一個越來越明顯的趨勢:網站不再只是被動防堵爬蟲,而是開始主動辨識 AI Agent 的瀏覽器自動化行為並加以封鎖。Hacker News 上的討論串(#50141657)獲得 45 個讚與 30 則留言;熱度雖然不算爆炸,但參與者都是技術圈人士,討論也算認真。

這件事值得關注,是因為 Agent 業者把「模擬真人操作」當成核心賣點,而正是這個賣點,讓產品在正式環境中寸步難行。Operator 與 Computer Use 這類產品,正撞上一堵肉眼可見的牆。

傳統爬蟲好擋,Agent 難防

過去要防爬蟲,只要檢查 UA(User-Agent)通常就夠了。Python 的 requests 函式庫預設 UA 是 python-requests/2.31.0,完全不用修改,伺服器只要一行規則就能攔下來:

# nginx 裡的典型反爬規則
if ($http_user_agent ~* "python-requests|scrapy|httpclient") {
    return 403;
}

進階爬蟲會偽造 UA、加上 Referer、模擬 cookie,但行為模式仍騙不過人:每秒發出數十次請求、IP 高度集中、請求間隔精確到毫秒,這類統計特徵很容易被捕捉。Cloudflare、Akamai 等 CDN 業者十幾年來就是靠販售反爬服務維生。

AI Agent 則不同。它執行的是 Chrome/Chromium,透過 CDP(Chrome DevTools Protocol)控制真正的瀏覽器程序,可以使用真人 cookie、執行 JavaScript 渲染頁面、模擬滑鼠軌跡與鍵盤輸入間隔,甚至處理 CAPTCHA。

舉例來說,Anthropic 的 Computer Use 本質上是讓 Claude 具備觀看螢幕、操作滑鼠與鍵盤的能力,底層分別呼叫 xdotool(Linux)、AppleScript(macOS)與 UI Automation(Windows)。OpenAI 的 Operator 走的也是相近路線,也就是自動化瀏覽器核心。

這類工具送出的請求,無論單看 UA 或單次行為,都與真人幾乎沒有差別。

這代表:

  • 傳統 UA 黑名單失效
  • 頻率統計失效,因為真人本來也可能快速點擊
  • IP 聲譽失效,因為 Agent 可能使用住宅代理,與真人 IP 混在一起
  • 驗證碼失效,因為 Agent 可以辨識 CAPTCHA,甚至付費交給打碼服務處理

但辨識難度上升是呈指數級增加,並不代表完全無解。

以下幾個維度仍然有效:

  1. 瀏覽器指紋:即使使用真正的 Chrome,自動化框架(Playwright、Puppeteer、Selenium)仍會留下特定指紋。navigator.webdriver 在自動化模式下預設為 true;雖然能修改,但修改後的組合特徵仍會被統計模型捕捉。
  2. 行為時序:真人操作會有自然停頓、猶豫與回退;Agent 的操作模式偏機械,缺少反映思考過程的「認知延遲」。
  3. CDP 協定特徵:瀏覽器自動化工具透過 DevTools 協定通訊,網路層會出現特定握手模式,與一般 HTTP 請求不同。
  4. 硬體層級指紋:TPM(可信平台模組)等硬體指紋,是目前最難繞過的偵測點之一。

Cloudflare 的 AI Bot 攔阻產品,就是把上述維度整合起來使用。The Verge 的報導點出一項關鍵細節:Cloudflare 與 Akamai 已經介入。這不再是單一網站的防衛,而是協定層級的攔截。

封鎖理由改變:不只是版權,而是錢

網站最初阻止 AI,主要是擔心內容被拿去訓練模型。從 2023 年到 2024 年初,新聞網站(紐約時報、CNN)、社群平台(Reddit、X)與程式碼託管平台(GitHub)都推出 robots.txt 規則,封鎖 GPTBot、ClaudeBot 等爬蟲。

邏輯很單純:內容是成本,免費提供給模型訓練並不划算。

但 The Verge 的報導揭示了新的封鎖理由:錢。

  • AI Agent 代替使用者搶演唱會門票,導致票價被炒高,正常使用者反而買不到
  • 搶限量球鞋,例如 Nike SNKRS 抽籤與 Supreme 发售
  • 刷電商秒殺、薅羊毛及批次領取優惠券
  • 探測飯店與機票價格後,再以 AI 自動下單占用庫存
  • 黃牛以 Agent 同時監控十多個平台,人工根本難以競爭

這些行為突破了傳統反爬設計所依賴的「頻率限制」假設——真人確實也可能快速點擊,只是無法保持如此穩定的頻率。對平台而言,這些行為造成的商業損失卻是實實在在的。

The Verge 報導引述的說法大意是,網站營運方發現 Agent 不只會「讀取」頁面,還會「消費」內容:下單、占用庫存、製造流量,而這些行為都會直接傷害 GMV(商品交易總額)。

這與防止模型訓練是兩種不同問題。阻止訓練,靠 robots.txt 加上 UA 黑名單,大約就能擋下 80%。阻止 Agent 消費內容,則必須精準區分真人與機器操作,而且要在毫秒級作出判斷。

CDN 已介入:Cloudflare 與 Akamai 推出 AI Bot 專項規則

這場攻防戰最值得深入看的,是 CDN 業者的介入。

The Verge 報導提到,Cloudflare 與 Akamai 都已推出「AI Bot」專項攔阻產品。Cloudflare 的方案稱為 AI Bot Management,核心包括:

  • 以機器學習模型辨識自動化瀏覽器流量
  • 共用傳統 Bot Management 的基礎設施,但針對 AI Agent 最佳化偵測維度
  • 提供「挑戰」機制,偵測到 Agent 時顯示驗證碼或 JS 挑戰;無法通過便予以阻擋
  • 客戶(網站平台營運方)可以一鍵啟用,不必自行撰寫規則

CDN 介入為何重要?

Cloudflare 服務全球超過 20% 的網站,Akamai 的覆蓋率更高。任何接入這兩家業者的網站,都能直接使用現成的 Agent 攔阻功能。過去要防止爬蟲,網站必須自行部署 WAF(Web 應用程式防火牆)、撰寫規則並維護黑名單;現在只要開啟一個選項即可。

更棘手的是,CDN 業者掌握全網流量資料。他們看到的不只是單一網站的行為,還能跨站比較橫向模式。同一個 IP 區段若在 100 個網站都被標記為自動化,這份聲譽可以即時同步。

這對 Agent 產品無疑是降維打擊——無論如何偽裝單站行為,跨站模式仍然藏不住。

從程式碼層面來看,Cloudflare 攔阻 Agent 時通常會回傳 403,有時則提供 JS 質詢頁:

// Cloudflare 的 JS 質詢(簡化版)
(function() {
    var a = document.createElement("input");
    a.name = "cf_chl_opt";
    // ... 一堆混淆程式碼,要求瀏覽器計算特定值
})();

Playwright 預設的 Chromium 執行這段程式時會失敗,除非使用 stealth 外掛或其他指紋偽造方案。然而,stealth 本身也已被指紋資料庫收錄。這場攻防會持續下去,而且防守方的成本遠低於進攻方。

Operator 與 Computer Use 撞上高牆

Anthropic 的 Computer Use 與 OpenAI 的 Operator,產品邏輯相同:讓 AI 觀看螢幕並操作 GUI(圖形介面)。

聽起來很酷,但本質上是最脆弱的部署形式。

原因很簡單:

  1. 瀏覽器自動化天然容易觸發風控,也就是前述的偵測維度
  2. 它走 GUI 而非 API,資訊密度低、操作緩慢,也更容易被辨識
  3. 一旦遭到攔阻,沒有可行的降級方案;不能讓 Operator 改走 API 下單,因為商家並未授予 API 權限

Anthropic 與 OpenAI 押注這個方向,賭的是「AI 能像真人一樣使用所有應用程式」。如今,這個前提正受到基礎設施的挑戰。

與普遍看法相反的是:投入最多資金、行銷預算最高的產品,反而卡在最基礎的一環。

Computer Use 的示範影片中,Claude 替使用者訂外送、填寫表單,流暢得像真人。但部署到正式環境後,訂外送這一步很可能被 DoorDash、Uber Eats 的風控攔下(原文的「DoorSquare」是誤植)。Anthropic 也沒有與這些商家洽談合作。

Operator 採綁定 ChatGPT Pro 訂閱的路线,OpenAI 則親自與 Shopify、Instacart、DoorDash 洽谈合作。但 The Verge 的報導刊出後,這些商家的風控團隊勢必重新評估風險:Agent 流量可能被直接列入黑名單。合作是一回事,流量准入是另一回事,兩者不能混為一談。

未來 12 個月會發生什麼

我的判斷是:Agent 不會消失,而是被迫轉向專用通道。

具體路線如下:

Anthropic 的選擇:API 合作。與 SaaS(軟體服務業者)平台洽談,由商家開放 API,讓 Claude 透過 API 呼叫,而不是操作 GUI。Anthropic 已在進行這項工作,Notion 等平台也已合作;但速度較慢。API 整合需要工程資源,而且未必排在商家的優先事項。

OpenAI 的選擇:商家白名單。向合作夥伴發放「可信 Agent」白名單,允許它們操作 GUI,但必須攜帶特定 token。OpenAI 正在推動這條路徑,但商家願意配合的程度仍是未知數。

Agent 業者的通用解法:專用瀏覽器核心+商家協定。建立類似 MCP(模型上下文協定)的「Agent 協定標準」,由商家主動宣告哪些操作允許 Agent 使用。這是最理想的方案,但標準化至少需要 18 個月。

現實是,未來 12 個月內,Agent 的普及速度將顯著放慢。

這不是因為技術能力不足。Computer Use 與 Operator 的模型能力沒有問題。

真正的原因是商業基礎設施跟不上。

一項數據是:The Verge 報導引用的研究顯示,大約 37% 的網站已經部署某種形式的 AI Bot 攔阻,而且這個比例仍在上升。

Agent 業者接下來會做兩件事:一方面加速與商家合作,Anthropic 與 OpenAI 已在洽談;另一方面使用住宅代理 IP 與 stealth 瀏覽器。這等於把成本轉嫁給網站,但 CDN 一旦更新規則,成本又會繼續上升。攻防將持續進行,而防守方總是領先半步。

編輯觀察

這件事為何重要?因為它正在動搖「以模擬操作為核心、Drive 數萬個 Agent」這條賽道的商業可行性。Computer Use 與 Operator 並非輸在模型能力,而是輸在缺乏商家授權的商業通道。

我的預測,或許與主流看法相反:Anthropic 與 OpenAI 會在 6 至 9 個月內降低 Computer Use/Operator 的商業化優先級,把資源轉向以 API 整合為主的 Agent 形態。原因不是技術問題,而是投入無法帶來 ROI。這與 2024 年 Google 砍掉一批仍處於示範階段的產品有點相似:基礎設施尚未成熟時,押注 GUI 自動化是錯誤的配置。

這件事與過去的情况有何不同?過去 20 年的 Bot 攻防都是「網站對抗爬蟲」,目標是資訊,成本低且規模有限。這次則是「網站對抗操作型 AI」,目標包含消費行為,會直接影響 GMV。Cloudflare、Akamai 等基礎設施業者介入,意味著這不是少數網站的個別問題,而是整個 Web 協定層正在排斥 Agent。

目前仍不確定的是:住宅代理加 stealth 瀏覽器能否取得實質進展。如果雲端業者進一步封鎖代理 IP 池,Agent 業者可能會徹底放棄 GUI 路線,轉而押注 API 合作。但也存在另一種可能:大廠直接收購 stealth 瀏覽器新創公司,將攻防成本內部化。Anthropic 與 OpenAI 都有能力採取這條路。

真正的護城河從來不是「AI 多會點網頁」,而是能否與商家談成合作並取得授權。

來源: https://www.theverge.com/ai-artificial-intelligence/1013195/ai-agents-blocked-web