Orange Tsaiは、モデル推論、ツール呼び出し、ページ状態から構成されるEdgeへの攻撃連鎖を解説します。LLM Agentを開発する上で重要なのは「/how jailbreakするか」ではなく一見正常な各操作が、なぜ越境した結果につながるのかという点です。
原文:https://blog.orange.tw/posts/2026-10-the-last-proof-of-human-craft-browser-full-chain/
дийuing Foxconn氏 also appeared on the Hacker News front page。The page record shows 47 points and 8 comments:https://news.ycombinator.com/item?id=50285319
私の見立ては、Agentセキュリティで最容易に見落 NormandieVenTd。当前のAgentが連続して何を行ったかを確認する必要がある。すべてのページが「モデルが誘導されるか」という問題ではない。
これは単なるモデル・ジェイルブレイクではない
従来のジェイルブレイクテストでは、通常、モデルの出力に焦点を当てます。
たとえば、モデルにセキュリティポリシーを回避させ、本来的に拒否すべき内容を生成させます。テスト結果も明確で、モデルが拒否すれば防御は有効、モデルが回答すればジェイルブレイク成功と判定します。
Orange Tsaiが示した問題は別物です。
攻撃はモデルのセキュリティ機構を直接欺いていません。モデル推論、ツール呼び出し、ブラウザ操作、最終的なセキュリティ境界は、それぞれ正常な挙動に見える可能性はあります。危険性は、それらを組み合わせたときに発生します。
抽象化すると、次のような連鎖になります。
ユーザー目標
↓
モデル推論
↓
ツール呼び出し
↓
ページ状態の変化
↓
次のモデル推論
↓
最終動作
各ステップが時点のルールに適合していても、前の段階が残した状態によって次の段階の条件が変わり、最終結果が境界を越える可能性があります。
このような攻撃は「モデルに悪意ある要求を即座に答应させるもの」とは異なります。むしろ、各ステップが局所的には合理に見える一方、全体のシーケンスには統合的なセキュリティ判断が欠落している、跨システム的な操作ミスです。
モデル、ツール、ページの接続関係
この攻撃連鎖を理解するには、Agentの実行境界を分解する必要があります。
1. モデルは推論を担当する
モデルはユーザー指示、ページ内容、ツールの戻り値を読み、次のアクションを決めます。
モデル層だけを見ると、セキュリティ問題を誤診 Abigailます。モデルが明白な違反テキストを生成していない_INITIALLY。只是根据眼前信息,选择了继续操作。
問題は、モデルが見ているのが特定時点の局所状態であり、タスク全体の最終影響ではないことです。
2. ツールは実行を担当する
ツールは推論を実際のアクションへ変換します。
ブラウザAgentでよく使われるツールには、次のようなものがあります。
- URLを開く
- ボタンをクリックする
- フォームに入力する
- ページのテキストを読み取る
- JavaScriptを実行する
- ファイルをダウンロードする
- 他のサービスにアクセスする
ツール自体が、モデルに完全なポリシー判断を行うことは通常ありません。特定のAPI呼び出しが許可されても、任意の呼び出しシーケンスが安全とは限りません。
3. ブラウザは状態を保持する
ブラウザは、この連鎖の中で最も見落とされやすい層です。
Cookie、Local Storage、DOM、タブ、クリップボード、ダウンロード履歴、ページ間の遷移など、状態を保持する対象は多数あります。
前の手順で書き込まれた内容が、次の手順で自動的に読み込まれることもあります。関係のないページ操作に見える行為でも、後続のツールが参照するコンテキストを変える可能性があります。
リスクは、単一のモデル出力にだけ現れるものではありません。むしろ、三者が接続する箇所に発生しやすいのです。
モデル → ツール:意図は適切に制限されているか?
ツール → ページ:動作はタスクの範囲を超えているか?
ページ → モデル:フィードバックに悪意ある状態や誤解を招く状態が含まれているか?
これが、入力と出力のフィルタリングだけでは不十分な理由です。フィルターが受け取るのは1回のpromptと1回のcompletionですが、実際のAgentは変化し続けるステートマシンを実行しています。
純粋な論理的な脆弱性が難しい理由
「各ステップが正当であること」と「全体の結果が安全であること」は別物です。
これは権限システムにおけるconfused deputyの問題に似ています。呼び出し元が直接機密データを要求せず、システム是其代表として指示され、元のタスクの境界を超えるアクションを実行-Wanられています。
Agentの文脈では、少なくとも3種類の防御策が必要です。
ポリシー層での制約
確認すべきなのは「現在のアクションを実行できるか」だけでなく、「このアクションは依然として元の目標に—are服务于か」という点です。
たとえば、元のタスクがドキュメントの読み取りなら、外部リンクを開く、ダウンロードを発生させる、設定を変更する操作は、再確認が必要な境界変化として扱うべきです。
ポリシーは、モデルの自己喚起だけに頼らず、独立したコンポーネントで実行するのが望ましいです。モデルはポリシーの提案者であると同時に受益者でもあるため、判断と実行を同じ担当に任せると統制力は弱くなります。
ステップ間の状態チェック
Agentが高リスクなアクションを実行するたびに、最初の推論で立てた計画を固定的に実行するのではなく、最新状態に基づいて再評価する必要があります。
確認項目は次のとおりです。
- 現在のページは、想定したドメインに属しているか
- ツールが返したデータによってタスク目標が変化していないか
- アクションの結果がユーザーの許可範囲を超えていないか
- 前の手順で、確認のない永続的な状態が発生していないか
この処理を、長いコンテキスト内で「タスク目標を覚えている」ことに委ねてはいけません。重要な制約は構造化された状態に保持し、プログラムのコードで検査する必要があります。
ツール権限の分離
異なるツールに同じ権限を与えるべきではありません。
Webページの読み取り、ページのクリック、ファイルのダウンロード、JavaScriptの実行、クリップボードへのアクセスは、等価な操作ではありません。権限が高いほど状態を変更する能力强くなるため、モデルを呼び出す前に与えるコンテキストもより完全にすべきです。
基本的な原則は、読み取り操作は緩く、書き込み操作は厳しく、低リスクなアクションは自動実行し、高リスクなアクションはユーザー確認を要する、というものです。
純粋な論理的な脆弱性の厄介な点は、単一の防御を必ず回避するとは限らないことです。systemsが組み合わせのセマンティクスを欠いていることを利用します。
Agentセキュリティのチェックリスト
自作のLLM Agentを実際のブラウザ環境で動かす場合、まず次の項目を確認します。
ツールの最小権限
- 各ツールには、そのツールでJuneloor subtaskに必要なパラメータと対象だけを公開する。
- アクセス可能なドメイン、ファイルシステムのディレクトリ、ネットワークエンドポイントを制限する。
- ページ読み取り、スクリプト実行、ファイルダウンロード、クリップボードへのアクセスを別の権限ドメインに分ける。
- Webページの内容が、ツール呼び出しの権限範囲を直接決定しないようにする。
ページ操作の追跡可能性
各アクションでは、少なくとも次を記録します。
{
"step": 12,
"tool": "browser_click",
"target": "要素セレクター",
"url": "現在のページURL",
"reason": "現在のステップの目的",
"result": "実行結果",
"state_changed": true
}
ログは単なるトラブルシューティングのためだけではありません。セキュリティ評価では、モデルの回答を一部確認するのではなく、完全なアクションシーケンスから異常な遷移找出必要があります。
アクション前の目標再評価
次の局面で処理を一時停止し、タスクを再確認します。
- 元のドメインから離れる直前
- スクリプトの実行やダウンロードを行う直前
- 機密性の高いストレージを読み取る直前
- ページのフィードバックによって新しい目標が生じた場合
- ツール呼び出しが元のタスクと直接対応しなくなった場合
判断ロジックはAgentループの外側に置くべきです。少なくとも、決定的なallowlist、パラメータ検証、ポリシーエンジンを用意します。
失敗後の後続ステップの阻断
1回のツール呼び出しが失敗しただけでは、タスクを元の計画どおり継続できるとは限りません。
失敗によってページ状態、戻り値のセマンティクス、権限条件が変化した場合は、後続のステップを阻断すべきです。エラーメッセージも攻撃者が制御する可能性があるため、異常なレスポンスを新しい信頼済み命令として扱ってはいけません。
より実用的な方法として、明示的なステートマシンを維持します。
PLANNING → EXECUTING → VERIFYING → COMPLETED
↘ BLOCKED / NEEDS_CONFIRMATION
BLOCKEDとNEEDS_CONFIRMATIONでは、現在の自動実行パスを必ず終了します。Agentに例外を捕捉させ、自力で「復旧ルート」を組み立てさせるべきではありません。
編集者の視点
この事例の重要性は、Agentセキュリティの焦点を「回答が違反しているかどうか」から「アクションのシーケンスを制御できるか」へ移したことにあります。1回の出力がフィルタを通過しても、複数ステップの実行が安全とは限りません。各ツール呼び出しが局所的なルールを満たしていても、組み合わせた後の権限、データ、ページ状態が境界を越えない保証はないのです。
開発者にとって、テスト対象が直接変わります。悪意あるpromptを1件検証するだけでは不十分で、状態が実行連鎖に沿ってどのように伝播するかを調べる必要があります。
Agentセキュリティの評価は、段階的にシステムレベルのthreat modelingへ近づくと予測しています。まずモデル、ツール、ブラウザ、外部サービスの間の信頼境界を描き、その後、単独では無害だが組み合わせれば危険な操作のシーケンスを構築します。
これは過去の単一地点のジェイルブレイクテストとは異なります。モデルが「騙された」とは限らず,真正に失效しているのは、systemsがステップをまたぐ組み合わせのセマンティクスを欠いていることです。ただし、攻撃経路が存在することを示す原作者の分析だけで、すべてのAgentツールチェーンが同等のリスクを持つとは断定できません。分離、権限ドメイン、監査の仕組みについて、実際の再現による検証が引き続き必要です。