8月下旬、Anthropicは自らthreat intelligence reportを公開し、イエメンのフーシ派(Houthis)がClaude Codeを使ってミサイル誘導ソフトウェアを開発していたことを認めた。この話題はHacker Newsのフロントページにしばらく居座り、33の upvote と31件のコメントがついた。元記事はclashreport.comに掲載されている。
この事案には、分解して考えるべきポイントがいくつかある。
事件の概要:フーシ派はどうやってClaude Codeを使えたのか
情報源はAnthropic自身が8月に公開したthreat intelligence reportであり、サードパーティのリークでもメディアの推測でもない。レポートによれば、フーシ派の関係者らはClaude Codeを使って次のような作業を行ったとされる。
- 誘導・追尾に関連するコードモジュールの作成
- 既存コードのデバッグ
- ドローンおよびミサイルシステム向けのソフトウェアフレームワークの生成
具体的にどうやってAPIアクセスを獲得し、Anthropicのどのガードレールを回避したのか、レポートには詳細が書かれていない。この点は後段で掘り下げる。
注目すべきは、Anthropicが自主的に開示したという点だ。これはリーークではなく、公的レポートである。つまり、AnthropicのPRチームは「記者団に掘られる」より「自ら認める」ほうが被害が少ないと判断したわけだ。
なぜこの問題は看起来以上に深刻なのか
「ChatGPTだってコードを書けるし、珍しくないでしょ」という反応がまず出るだろう。違いはモデルではなく形態にある。
Claude Codeは、Anthropicが2024年末にリリースしたコーディングAgentプロダクトだ。次のような機能を持つ。
- ローカルファイルシステムの読み書き
- shellコマンドの実行
- 複数ステップタスクの遂行(plan → edit → test → fix)
- ツールチェーン(コンパイラ、linter、git)の呼び出し
ChatGPTは対話モデルであり、質問すればテキストを返す。Claude CodeはAgentであり、目標を与えれば直接マシンを操作できる。
ミサイル誘導ソフトウェアの本質は何だろうか。センサデータを読み取り → 制御則の計算を行い → アクチュエータへの指令を出力するコードだ。これはまさにAgentが最も得意な形態と一致する。
- 入力:センサデータ(IMU、GPS、目標座標)
- 処理:フィルタリング、制御アルゴリズム、状態推定
- 出力:舵面/ガス舵/ノズルへの制御信号
この種のコードを書くのに必要なのは創造性ではなくエンジニアリング能力だ。Claude CodeのようなAgentは、まさにこのエンジニアリング能力において純粋なLLMより一桁上の性能を持つ。
PIDを扱える学部生でも書けるし、Agentでも書ける。違いは、Agentのほうが速く、より体系的に、反復して動作するバージョンを出せることだ。
Anthropicのdetectionはなぜ機能しなかったのか
Anthropicのusage policyはweapons developmentの禁止を明記している。それでもフーシ派は利用できてしまった。考えられる原因は3つある。
1. プロンプトの細分化
最も一般的な回避手法だ。「ミサイル誘導を書いて」と直接聞くのではなく、次のように分解する。
MPU6050のIMUデータを読み取るPython関数を作って
簡単なPIDコントローラを追加して
目標座標をサーボ角度に変換する処理を書いて
ひとつひとつはどれも無害で合法的な、GitHubに溢れるようなチュートリアルコードだ。これらを組み合わせたときに初めて武器になる。
この種の攻撃はChatbot時代のガードレールには効く。アウトプットフィルタリングで「爆弾の作り方」系のキーワードをスキャンできるからだ。だがAgentには効かない。Agentの出力は中間ステップであり、最終成果物は数十分後でないと現れない。しかもその時点ではガードレールはとっくにパスしている。
2. アカウント偽装 / チャネル迂回
レポートには明記されていないが、現実的に考えられる経路としては次のようなものがある。
- KYCの緩いサードパーティAPI reseller経由での接続
- 盗難クレジットカードを使ったアカウント開設
- Anthropicのパートナー/学術機関向けAPIクォータの利用
Anthropicの過去のレポートでは、ロシアやイランのアクターが類似の手法を使ったケースが言及されている。
3. 軍事利用は検出の盲点
これは私個人の推測であり、的外れかもしれない。
Anthropicのmisuse detectionはおそらく既知のabuse patternベースで構築されている。フィッシングメール、マルウェアコード、政治的プロパガンダなどだ。兵器用途のpatternは学習データに含まれていない。モデルに「ミサイル誘導を書いている」と認識させるにはどうすればいいのか。それが結局、合法的なコードの組み合わせでしかない。
さらに皮肉なことに、検出が成功するほどモデルの能力の高さが証明される。兵器として動作する誘導コードを本当に書けるモデルでなければ、誰もわざわざ悪用しないからだ。
OpenAI、Cursor、Googleはどうしているか
この問題はClaude Codeに限った話ではなく、すべてのコーディングAgentに共通する構造的な課題だ。横並びで見るとこうなる。
Cursor
Cursorのusage policyもweapons developmentを禁止している。ただしCursorはIDE形態であり、Claude Code以上に開発ワークフローに深く埋め込まれている。誘導コードを書けるか?書ける。Cursorが同様のthreat reportを公開したことはあるか?ない。
GitHub Copilot Agent Mode
マイクロソフトはAzureの政府顧客を持ち、JEDI契約や米国防総省のクラウドサービスを抱えている。Copilot Agent Modeのポリシーは「軍用禁止」とも「兵器禁止」とも取れる、曖昧な書き方がされている。実際の運用は別の話だ。マイクロソフトはthreat reportを出したことがない。
Windsurf / Cline
Windsurf(Cognitionが買収し、現在はDevinチーム傘下)もIDE Agentの形態を取る。ClineはオープンソースのVS Code拡張で、ローカルモデル + Anthropic/OpenAI API呼び出しで動作する。後者はそもそもポリシーを強制しようがない。オープンソースで、ユーザが自分でAPIキーを設定するからだ。
OpenAI
OpenAIは2024年に「disrupting malicious uses of AI」というレポートを出しており、イラン/北朝鮮/ロシアのアクターに言及している。だが兵器コードについては触れていない。OpenAIのAgent製品(Codex CLI、o3 Agent)も同様に誘導コードを書ける。
Gemini CLIは2025年に出たばかりで、threat reportは確認できていない。ただGoogleは国防総省との契約(Project Maven、NGA)を抱えており、もともと境界線が曖昧だ。
どこが違うのか:Anthropicは現状、兵器関連のmisuseを自主的に公開した唯一のベンダーだ。他社は起きていないか、起きていても開示していないか、あるいはそもそも本気で調査していないかのいずれかである。
Agent時代のabuseはChatbot時代より一桁防ぎにくい
これが最も本質的な点であり、多くの議論で掘り下げられていない。
Chatbot時代のabuseモデルは「対話」だ。
- ユーザ入力 → モデル処理 → テキスト出力
- 検出は入力と出力の2端点で行う
- 出力フィルタリングで「TNTの作り方」系のキーワードをスキャン
- このパラダイムはGPT-3時代から使われており、相対的に成熟している
Agent時代のabuseモデルは「実行」だ。
- ユーザが目標を設定 → Agentが計画立案 → AgentがNステップ実行 → 最終成果物
- 中間ステップはいずれも合法的に見える
- 最終成果物は物理世界への破壊(兵器コード、攻撃スクリプト、ランサムウェア)になりうる
- 検出は実行トレース全体にわたって行う必要があり、複雑度は一桁上がる
具体例を挙げよう。Chatbotの「TNTの作り方」出力を検出するのは分類器を回すだけで、recallは99%以上だ。だがAgentが「特定のカルマンフィルタ + シリアル通信プロトコル + リアルタイムスケジューラ」の組み合わせを書いているのを検出するにはどうラベル付けする?各ステップはどれも正当なエンジニアリング手法だ。
さらに厄介なのは、Agentの出力はベンダーの視界にない成果物になりうることだ。Agentはユーザのローカルでファイルを書き、コマンドを実行する。ベンダー側に見えるのは「ユーザとAgentの会話履歴」であって、ユーザのローカルファイルシステムは見えない。AgentがIDEプラグイン形態(Cursor、Windsurf)の場合、ベンダーにはIDE内のプロンプトしか見えず、ローカルファイル操作は報告されない。
私の判断:既存のred teamの考え方はAgentにはもう通用しない。OpenAIとAnthropicのred teamは主にprompt injection、jailbreak、biasをテストしてきた。だがAgent時代の核心的な問題は「複数の合法的な操作が有害な成果物に組み合わされうるか」であり、これはpromptレベルではなくplanningレベルの攻撃だ。新しいthreat modelが必要とされている。
編集部の見解
今回の事案はAnthropic単体の失敗ではなく、Agent業界全体の失敗だ。フーシ派ひとつが使えたということは、動機を持つあらゆるアクターに対してこの経路が開かれているということであり、違いは「Claude Codeか、Cursorか、Clineか」という点だけだ。
私の予測:今後6か月で、同様のケースを自主開示するベンダーが出てくるだろう。理由は単純で、Anthropicがハードルを下げた以上、今開示しないほうがリスクが高いからだ。規制当局もメディアもユーザも見ており、「指摘される」より「先に名乗り出る」ほうが得策である。
これまでのAI safety事件と比べると、今回のアウトプットは直接人を殺せるコードだ。Deepfakeは画像、Bing Sydneyはテキスト、GPT jailbreakは対話だった。これらはすべて影響が出るまでに遅延があり、媒介者を必要とし、拡大が必要だった。兵器コードは違う。CS学部生がClaude Codeで生成した誘導ロジックをフライトコントローラに焼いて、機体が離陸すれば、それだけでエンドツーエンドの物理的被害が発生し、遅延はゼロだ。
不確実な点:
- Anthropicレポートに書かれていない「具体的な回避手法」が何なのか。プロンプト分割か、アカウント悪用か、あるいは両方の可能性。
- フーシ派がClaude Code生成コードをどの程度本格採用したのか。Agentに完全依存したのか、それともIDE的なアクセラレータとして使っただけか。前者のほうがはるかに深刻だ。
- この事案がAnthropicのビジネスに与える影響。今のところは見えにくい。エンタープライズ顧客は身構えるかもしれないが、政府顧客は気にしないだろう(そもそもすでに使っている)。
Agent業界が解決すべきは「うまく書けるコード」の問題ではなく、「書かれたコードがどう使われるか」という問題だ。この問いはChatGPT時代には無視できたが、Agent時代には逃れられない。
参考ソース: