見解

Agent暴走は言い訳にすぎない ── 最先端ラボが省いた5つの基本セキュリティ

Hacker Newsで517点の議論を呼んだCSO Onlineの記事では、Agentが暴走したのではなく、フロントラブラボが入力検証やサンドボックス分離といった基本を怠っていたことが指摘されている。責任をAIに転嫁する流れこそ警戒すべきだ。

文字サイズ

CSO Onlineが8月に公開したAI agents aren't going rogue. Frontier labs are skipping security basicsは、Hacker Newsのトップに登場して517ポイント、218コメントを獲得した。この数字だけで、 developerコミュニティが「AI覚醒」物語に乗らなくなったことがわかる。

記事の主張は明快で、出事故の原因はAgentの自律判断ではなく、フロントラブラボがWebセキュリティでは常識となった基礎工を端から飛ばしている点にある。入力検証、権限制御、サンドボックス分離、監査ログ、ヒューマンインザループの5つだ。

ここでは記事内で散発的に言及された論点を整理しつつ、私なりの見解も交えていく。

元記事の論点整理

CSO Onlineの立論は、反ナラティブの構造を取っている。

  • デフォルトのナラティブ:Agentの自律性が増す → 制御不能 → 暴走事件 → 規制強化
  • 記事の主張:Agentは暴走していない、設置側が基本を怠っている → 暴走事件 → エンジニアリング責任

後者の方がCISOにとって扱いやすい。「AIは制御不能」は責任をモデルベンダーと規制当局に転嫁するが、「入力検証を怠った」は甲方セキュリティチームの責任を明確化する。ただし同時に、甲方自身が対策を打つ道筋も与えている。

コメント欄218件はおおむね次の3方向に集中していた。

  • 2010年代のWebアプリと同じ末路をたどる、という指摘
  • ラボだけでなく、オープンソースのAgentフレームワークのほうが粗いという指摘
  • 現場の人間ならわかる、ビジネス側がこうしたセキュリティチェックの追加を許さないという現実

3点目がエンジニアリングの現実であり、後ほど掘り下げる。

省かれた5つの「退屈な」基本

記事中で挙げられた項目を、重要度順に並べ替える。いずれもWebセキュリティで20年間語られてきた古株であり、Agent業界がまとめて記憶喪失を起こしている印象だ。

1. ツール呼び出しの入力検証

LLMが組み立てたSQLをそのままDBに渡し、shellコマンドをそのまま実行する。仮定の話ではない──AutogenやCrewAIのデフォルト動作がこれで、ツールシグネチャは単なるプロンプト上の注意書きに過ぎず、ランタイムにスキーマ検証は一切かからない。

# 反面教材:LLMが組み立てたクエリをそのまま実行
def run_sql(query: str):
    return db.execute(query)  # LLMが "DROP TABLE users" と言えば本当に消える

# 望ましい実装
from pydantic import BaseModel, Field

class ReadQuery(BaseModel):
    query: str = Field(..., pattern=r"^SELECT.*FROM\s+\w+(\s+WHERE.*)?$")

def run_sql(q: ReadQuery):
    if not q.query.upper().startswith("SELECT"):
        raise ValueError("SELECT文のみ許可")
    return db.execute(q.query)

2. 最小権限の原則

あるAgentがshell権限を持てば rm -rf を実行でき、email権限を持てば一斉送信が可能になる。LangGraphやAutoGenのツール登録インターフェースには権限粒度の制御がほぼ存在せず、「全部渡すか、一切渡さないか」の二択になっている。

3. サンドボックス分離

ブラウザ操作Agentがホストプロセスで動き、ファイルシステムAgentがユーザーのホームディレクトリに直接アクセスし、コード実行Agentが本体プロセスで動作している。本番に出す代物ではない、こうした設計が「デモ段階」のまま本番に載っている。

4. 監査ログ

事故が起きても、Agentが何をしたかは誰も把握できない。LangChainのデフォルト verbose=True はstdoutに書き出すだけであり、OpenAIのfunction callingもデフォルトでは呼び出し引数を記録しない。事後トレースなんて夢の話だ。

5. ヒューマンインザループ

重要なアクションに確認ステップがない。メール送信、振込、データベース変更──Agentが独断で決めてしまう。この項目を単独で取り出せば、2026年最大の地雷になりうる。

これら5つは新しい課題ではなく、Webセキュリティで20年語られてきた古株ばかりだ。Agent業界が一斉に物忘れを起こしているのは、少々異常と言わざるをえない。

責任のすり替え:Agentに押し付ける方が開発者に押し付けるより楽

ラボのPR担当は「Agentの自律判断」というナラティブを好む。セキュリティ責任を「AIは制御不能」という虚構に転嫁できるからだ。問題が起きれば、世論の焦点は「AI暴走」に向かい、「入力検証を有効にしなかったあなた」には向かわない。

後者では甲方セキュリティチームが原因究明の対象になる。前者なら誰もが肩の荷を下ろせる──「AIだから仕方ない」と。

主要どころを簡単に評価すると:

  • AnthropicのClaude Codeは比較的まともで、ツール呼び出しにスキーマ検証と権限確認のプロンプトがある。ただしヒューマンインザループはデフォルトOFF
  • OpenAIのGPT-5 function callingは厳格さが大きく向上したが、同様に強制的な確認ステップは存在しない
  • オープンソースのLangGraph、AutoGen、CrewAIはほぼ丸裸状態

これは陰謀ではなくインセンティブの問題だ。事故が起きる前に入力検証に時間を割く動機はない──KPIに加算されないからだ。事故が起きると世論は「AIは制御不能」に向かい、責任は開発者に及ばない。

従来のセキュリティとの対比:Agent業界は2010年の過ちを繰り返している

今日のAgentの混沌を2010年前後のWebアプリと比較してみる。

時期状態その後の解決策
2010年SQLインジェクション、XSSが蔓延OWASP Top 10 + WAF普及
2016年CSRF、SSRFが横行同上、規格が徐々に整備
2026年Agentツール呼び出しが丸裸、権限制御が欠如?

Agent業界には「Agent版OWASP」すら存在せず、各社が独自にルールを定めている状況だ。LangChainには自社セキュリティページがあり、AnthropicにはResponsible Scaling Policyがあるが、いずれもメーカー独自で、跨ベンダー共通基盤はない。

私の予測では、2026年末までには誰かが音頭を取ることになるだろう。OWASP本体かもしれないし、主要ラボのいずれかかもしれない。MITRE ATT&CK for AI Agentsのような取り組みが先に動き出す公算が大きい。

CISOが今すぐできること

ラボの対応を待つ必要はない。実務レベルのチェックリストは次の通り。

  1. ツールホワイトリストの強制:Agentは許可したツールだけ呼び出せるようにし、新規ツールは必ず承認プロセスを経る
  2. 実行環境はコンテナ化+非root必須:ブラウザAgent、shell Agent、code Agentは隔離コンテナ内で動かし、コンテナ内プロセスはroot以外
  3. ツール呼び出しをすべて監査ログ化:単なるログではなく、agent ID・時間・ツール種別で追跡できる構造化保存
  4. 高リスク操作には人間確認を必須化:ファイル書き込み、API呼び出し、メール送信、振込──デフォルトで確認、OFF不可
  5. 社内で「Agentペネトレーションテスト」を実施:Agentを信頼できない第三者とみなし、Webペンテストの作法で打つ

派手さはない。だが、今日のニュースになっている事故の90%はこれで防げる。

# 最低限の実用的なagent実行設定例
agent_sandbox:
  runtime: docker
  image: agent-runtime:1.0
  user: nonroot
  capabilities:
    drop: ALL
  network: isolated
  tools_whitelist:
    - read_file
    - search_web
  tools_require_confirm:
    - write_file
    - send_email
    - execute_sql
  audit:
    enabled: true
    destination: s3
    fields: [agent_id, tool, args, timestamp, user_id]

この設定はLangGraph、AutoGen、自社製フレームワークのいずれにでも組み込め、核となるのは「ツールホワイトリスト+コンテナ分離+監査+確認」の四点である。

編集後記

この問題で本当に警戒すべきは、Agentが「覚醒」するかどうかではなく、セキュリティ責任がナラティブによって薄められていることだ。「AIは制御不能」は自然灾害の新バージョンであり、事故が起きたら天を怨み己を省さない。

今後12ヶ月でAgentセキュリティは「倫理論争」から「エンジニアリング責任追及」へと軸を移すと見ている。最初に規制の矛先になるのはモデル本体ではなく、設置側のセキュリティ欠陥であるはずだ。理由は3つある。

  • 規制は本来、定量化できる責任追及点を好む──「モデルが賢すぎる」は追及しづらく、「入力検証を怠った」は追及しやすい
  • すでに先例がある──EU AI Actや米国EO 14110はいずれも「設置者責任」の方向に振れている
  • 事故件数が増えれば、世論は「AIが強力すぎる」から「なぜこんな不注意が」と移る

今回の従来との決定的な違いは、主要セキュリティメディア(CSO Online)が初めて「AI能力」ではなく「エンジニアリング欠陥」に矛先を向けた点にある。従来、セキュリティ業界がAIを語るときは、モデルセキュリティ( adversarial examples、jailbreak)かデータセキュリティ(訓練データ漏洩)かのいずれかに偏っていた。今回は設置側のエンジニアリング基礎を直接名指ししており、これは新しい角度だ。

不確定な要素としては、オープンソースAgentフレームワークのセキュリティ改善はクローズド製品より遅れる公算が大きい。PR圧力もコンプライアンス予算も乏しいからだ。今後12ヶ月に規制が実際にかつ乗込むなら、最も打撃を受けるのは多くの企業がそのまま本番に乗せているLangGraphやAutoGenのようなプロジェクトであり、モデルベンダーではないかもしれない。

参考: CSO Online - AI agents aren't going rogue

出典: https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html