WebサイトがAI Agentを一斉排除、OperatorとComputer Useが直面する構造的限界
先週、The Vergeが報じた記事が業界で話題になっている。もはやWebサイトはクローラーを「待ち構えて弾く」段階ではなく、AI Agentによるブラウザ自動操作を能動的に検知してブロックし始めたという。Hacker Newsのスレッド(#50141657)は45ポイント・30コメントを集めており、爆発的な盛り上がりではないものの、技術者が本音で議論する場になっている。
この動向が注目に値する理由は、Agentベンダーが「人間のように操作する」ことを中核価値に据えているにもかかわらず、その価値そのものが本番環境での足かせになっているからだ。OperatorやComputer Useといったプロダクトは、目に見える壁にぶつかろうとしている。
従来型クローラーは防げるが、Agentは防ぎにくい
従来のクローラー対策では、UA (User-Agent) をチェックするだけで十分だった。PythonのrequestsライブラリのデフォルトUAはpython-requests/2.31.0で、何もいじらなければサーバー側の一行ルールで弾ける。
# nginxの典型的なアンチクローラー設定
if ($http_user_agent ~* "python-requests|scrapy|httpclient") {
return 403;
}やや手の込んだクローラーはUAを偽装し、Refererを付与し、Cookieを再現したりする。それでも行動パターンは隠せない。秒間数十リクエスト、IPの集中、リクエスト間隔がミリ秒単位で正確。こうした統計的特徴は確実に捕捉される。CloudflareやAkamaiといったCDN事業者は、十数年にわたってこの「クローラー対策」で商売をしてきた。
AI Agentは事情が異なる。Chrome / Chromium上で動作し、CDP (Chrome DevTools Protocol) を通じて実ブラウザのプロセスを制御する。人間のCookieを取得し、JavaScriptレンダリングを実行し、マウスの軌道やキーボードの打鍵間隔を再現し、場合によってはCAPTCHAさえ処理できる。
具体例を挙げると、AnthropicのComputer Useは本質的に画面を見てマウスとキーボードを操作する能力をClaudeに付与するもので、内部的にはxdotool (Linux)、AppleScript (macOS)、UI Automation (Windows)を呼び出している。OpenAIのOperatorも似たアプローチで、ブラウザ内核の自動化を採用している。
これらのツールが発するリクエストは、UA単体や単発の行動だけを見れば人間とほぼ区別がつかない。
すなわち、以下の従来手法がことごとく無効化される。
- UAブラックリスト
- 頻度統計(ユーザー本来も高速クリックしうるため)
- IPレピュテーション(住宅プロキシで正規IPに紛れる可能性)
- CAPTCHA(Agentが突破または課金サービスで突破)
ただし、検知難易度の上昇は指数関数的に起きるものであり、「無敵」というわけではない。
依然として有効な検知軸をいくつか紹介しよう。
- ブラウザフィンガープリント: たとえ本物のChromeを使っていても、自動化フレームワーク (Playwright、Puppeteer、Selenium) は特有の指紋を残す。
navigator.webdriverは自動化モードではデフォルトでtrueになる。改ざんは可能だが、改ざん後の組み合わせ特徴を統計モデルが捕捉する。 - 行動の時系列パターン: 人間の操作には自然な間、迷い、巻き戻しが含まれる。Agentの操作は機械的で、「認知的な遅延」が欠けている。
- CDPプロトコルの特徴: ブラウザ自動化ツールはDevToolsプロトコルで通信するため、ネットワーク層に通常のHTTPリクエストとは異なる固有のハンドシェイクパターンが現れる。
- ハードウェアレベルのフィンガープリント: TPM (Trusted Platform Module) などのハードウェア指紋は、現時点で最も迂回が難しい検知ポイントとなっている。
CloudflareのAI Bot対策製品は、これらの検知ポイントを統合的に活用している。The Vergeの記事が指摘した重要なディテールは、CloudflareとAkamaiがすでにこの領域に本格参入したという点だ。これは単一サイトによる防御ではなく、プロトコルレベルでの遮断になっている。
ブロックの理由が変わった: 著作権ではなくカネの問題
WebサイトがAIをブロックし始めた当初の目的は、学習データとして使われたくないという防衛だった。2023年から2024年前半にかけて、ニュースサイト(ニューヨーク・タイムズ、CNN)、SNS(Reddit、X)、コードホスティング(GitHub)などがこぞってrobots.txtの整備を進め、GPTBotやClaudeBotといったクローラーをブロックしてきた。
ロジックは単純で、コンテンツはコストがかかるのに、タダで学習に使われるのは割に合わないというものだった。
しかし、The Vergeの記事が新たに提示したブロック理由はカネである。
- AI Agentがユーザーに代わってコンサートチケットを奪い、チケット価格を吊り上げて正規ユーザーが買えなくなる
- 限定スニーカー(Nike SNKRSの抽選、Supremeの発売)で買い占め
- ECサイトの秒杀(秒杀=タイムセール)を狙い撃ち、キャンペーンの不正取得、クーポン大量取得
- ホテル・航空券の価格を探索した上でAIが自動で在庫を抑える
- 転売業者がAgentで十数プラットフォームを同時監視し、人間ではまず勝てない
これらの行動は、従来の「頻度制限」という前提を突き崩す。人間も高速クリックはするが、ここまで安定して継続することはないからだ。しかしプラットフォームから見れば、ビジネス上の被害は明白だ。
The Vergeの報道によれば、サイト運営者はAgentが単にページを「読む」だけでなく、コンテンツを「消費」する、すなわち注文、在庫確保、トラフィック水増しを行い、それらがGMV (Gross Merchandise Value) を直接毀損していることに気づき始めた。
これは学習データ防止とは別次元の問題だ。学習防止であれば、robots.txtとUAブラックリストで80%は防げる。Agentによる「消費」を防ぐには、「人間の操作」と「機械の操作」を正確に区別し、ミリ秒単位で判定を下す必要がある。
CDNが本格参入: CloudflareとAkamaiがAI Bot専用ルールを提供開始
今回の攻防で最も注目すべきパートがここだ。
The Vergeの報道によれば、CloudflareとAkamaiの両社が「AI Bot」専用の対策プロダクトをリリースしている。CloudflareのソリューションはAI Bot Managementと呼ばれ、中核機能は次のとおり。
- 機械学習モデルで自動化ブラウザのトラフィックを識別
- 従来のBot Managementインフラと共有しつつ、検知軸を専用に最適化
- 「チャレンジ」機構を提供。Agentを検知したらCAPTCHAやJSチャレンジを投げ、突破できなければ遮断
- 顧客(サイト運営者)はワンクリックで有効化でき、独自ルールを書く必要はない
なぜCDNの参入が大きな意味を持つのか。
Cloudflareは世界の20%超、Akamaiはさらに多くのサイトをカバーしている。この2社を利用するサイトであれば、追加設定なしでAgentをブロックできる。従来はWAF (Web Application Firewall) を自前で構築し、ルールを書き、ブラックリストを保守する必要があった。今ではスイッチ一つで済む。
さらに厄介なことに、CDN事業者は全網のトラフィックデータを握っている。彼らに見えているのは単一サイト内の挙動ではなく、横断的なサイト間行動パターンだ。あるIPセグメントが100サイトで「自動化」と判定されていれば、そのレピュテーションはリアルタイムで共有される。
これはAgent製品にとって次元が違った打撃になる。単一サイトでの振る舞いをいくら偽装しても、サイト横断パターンは隠せない。
コードレベルの例を挙げると、CloudflareがAgentをブロックする際は通常403を返すが、JSチャレンジページを返す場合もある。
// CloudflareのJSチャレンジ(簡略版)
(function() {
var a = document.createElement("input");
a.name = "cf_chl_opt";
// ... 難読化されたコード群。ブラウザに特定の値を計算させる
})();PlaywrightのデフォルトChromiumはこれを突破できない。ただしstealthプラグインなどの指紋偽装策を用いれば突破できる。だがstealth自体もすでに指紋データベースに登録されている。いたちごっこは続くが、防御側のコストは攻撃側より常に低い。
OperatorとComputer Useはこの壁にぶつかっている
AnthropicのComputer UseとOpenAIのOperatorは、いずれも製品ロジックが同じだ。AIに画面を見させてGUI (Graphical User Interface) を操作させる。
聞こえはクールだが、本質的には最も脆いデプロイ形態と言える。
理由は明快だ。
- ブラウザ自動化は本質的にリスク検知をトリガーする(前節の検知軸を参照)
- GUI経由のため情報密度が低く、操作が遅く、検知されやすい
- 一度ブロックされたらフォールバックが存在しない。Operatorに「APIで注文しろ」とは指示できない。そもそも店舗側がAPIを公開していないからだ
AnthropicとOpenAIはこの方向に大きな賭けをしてきた。背景にあるのは「AIが人間のようにすべてのアプリケーションを使いこなす」という仮説だが、いまその前提がインフラ側から揺さぶられようとしている。
反コンセンサス的な見方をすれば、大企業が最も多くの資金とマーケティングを投じたプロダクトが、最も基礎的なレイヤーで詰まっている。
Computer Useのデモ動画では、Claudeがユーザーの代わりに料理を注文し、フォームを入力する。まるで人間のように滑らかに動く。しかし本番環境にデプロイして料理注文のステップを踏めば、DoorDashやUber Eatsのリスク検知に引っかかる確率は極めて高い。Anthropicはこれらの事業者と何ら提携交渉を行っていない。
OperatorはChatGPT Proのサブスクリプション路線を取り、OpenAI自らShopify、Instacart、DoorDashとの提携を進めている。しかしThe Vergeの記事が出た以上、これらの事業者のリスク管理チームはリスクを再評価せざるを得ない。提携は提携、トラフィックはトラフィックで別問題。Agentのトラフィックはブラックリストにそのまま載りうる。
今後12ヶ月間に起きること
筆者の見立てでは、Agentは死ぬのではなく、専用ルートを歩むことを迫られる。
具体的なパスは次のとおり。
Anthropicの選択: API連携。SaaS (Software as a Service) 事業者と交渉し、店舗にAPIを開放してもらい、ClaudeがGUI操作ではなくAPI経由で呼び出す。Anthropicはすでにこの方向で動いており、Notionなどが提携している。ただしこの道は遅い。API連携にはエンジニアリングリソースが必要で、店舗側の優先度も高くない。
OpenAIの選択: ホワイトリスト。提携パートナーに「信頼されたAgent」ホワイトリストを発行し、GUI操作を許可しつつ特定トークンを付与する。この方向もOpenAIは推しているが、店舗側の協力は未知数だ。
Agentベンダーの汎用解: 専用ブラウザ内核 + 店舗プロトコル。MCP (Model Context Protocol) のように、「Agentプロトコル標準」を策定し、店舗側がAgentに開放する操作を能動的に宣言できるようにする。これが理想形だが、標準化には最低でも18ヶ月かかる。
現実には、12ヶ月以内にAgent普及のペースは明確に減速する。
技術力が足りないわけではない。Computer UseとOperatorのモデル能力に問題はない。
問題はビジネスインフラが追いついていない点にある。
一つのデータポイントを挙げると、The Vergeの記事が引用した研究では、ウェブサイトのおよそ37%が何らかの形でAI Bot対策を導入済みだという。この数字はまだ伸びている。
Agentベンダーは今後ふたつの動きを同時進行させるはずだ。一方で店舗連携を加速し(Anthropic、OpenAIはすでに交渉中)、他方で住宅プロキシIP + stealthブラウザを強化する。これはコストをサイト側に転嫁する構造だが、CDNがルールをアップグレードすればコストは再び上がる。攻防は続き、防御側が常に半歩先を行く。
編集部の考察
この動向がなぜ重要か。それは「人間のように操作するAI」「1万のAgent」というレースのビジネス的成立可能性が揺らいでいるからだ。Computer UseとOperatorが敗北したのはモデルの能力ではなく、店舗から認可されたビジネスチャネルを持たない点にある。
筆者の予測(反コンセンサスかもしれない)はこうだ。AnthropicとOpenAIは6〜9ヶ月以内にComputer Use / Operatorの商用化優先度を下げるだろう。リソースをAPI連携型のAgent形態に振り向けるはずだ。理由はもちろんROIで、この壁に阻まれては割に合わない。2024年にGoogleがdemo段階のプロダクトを大量停止したのと同じ論理だ。インフラが未成熟な段階でGUI自動化に賭けるのはミスマッチだ。
この動向が過去の事例と何が違うか。過去20年のBot攻防は「サイト vs クローラー」であり、目的は情報だった。コストは低く、スケールも限定的だった。今回は「サイト vs 操作系AI」であり、目的には消費行動も含まれる。GMVを直接揺るがす。Cloudflare、Akamaiといったインフラ層が本格参入したということは、これは特定サイトだけの問題ではなく、Webのプロトコル層全体がAgentを排斥し始めているということだ。
不確実な部分: 住宅プロキシ + stealthブラウザ路線に実質的な進展があるか。クラウド事業者がプロキシIPプールをさらに封鎖すれば、AgentベンダーはGUI路線を完全に諦め、API連携一本に賭けるかもしれない。あるいは別の可能性として、大企業がstealthブラウザスタートアップを直接買収し、攻防コストを内部化する道もある。このルートならAnthropic、OpenAIいずれも実行可能だ。
堀(moat)とは決して「AIがいかに上手にWebを操作できるか」ではない。店舗と交渉して認可を取り付けられるかどうか、だ。