見解

LLMがホストマシンを乗っ取る?推論エンジンに潜むセキュリティの死角

Boyd Kane氏の新稿は、LLMが推論エンジンの脆弱性を突き、実行元のサーバーを掌握し得るという従来と異なる脅威を提起している。Prompt injectionより一段深い、推論ランタイム側の問題だ。

文字サイズ

先週、Hacker NewsのフロントページにBoyd Kane氏によるブログ記事《LLMs could control their host machines by exploiting inference engines》が載った。公開から数時間で19ポイント、6コメント——セキュリティ系としては悪くない数字だ。

これは学術論文でもなければ脆弱性報告でもない(CVEもPoCリポジトリもない)。どちらかといえば「ロードマップ」に近い。推論エンジンで見落とされがちな攻撃面を並べ、モデルは単なる統計関数だと思っていても、実態はあなたのマシンを動かせると、ローカルでモデルを動かしている人たちに警鐘を鳴らしている。

発端:HNフロントページに載った一記事

Boyd Kane氏のブログはboydkane.comにあり、今回の記事は実戦観察型だ。本人も「これは0dayではなく、既知のリスクの組み合わせだ」と書いている。

HNのコメント欄は真っ二つに割れた。

  • 一方は「結局prompt injectionの焼き直しでは」と主張。Kane氏は真っ向から否定する。古典的なprompt injectionはモデルに話させる攻撃だが、今回のターゲットはモデルにやらせる攻撃で、実行環境はホストのプロセスになる。
  • もう一方は運用側で、実際に見た奇妙な事象を列挙していた。モデルがGPUカーネルコードを返し、推論エンジンがサンドボックス化もせずそのままドライバ層へ渡すケース。あるいは、モデルの出力をシェルコマンドの一部として扱い、デプロイスクリプトにそのまま連結してしまうケース。

議論は紛糾したが、否定できなかった事実が一つある。現時点で、主要な推論エンジンが「モデルの出力」を信頼できない入力として扱っているものは存在しない。

攻撃面の実体:vLLM/TGI/llama.cppのどこに穴があるか

Kane氏が記事内で具体的に挙げている経路は、絵空事ではなく各エンジンそのものが備えている機能だ。

1. カスタムオペレーター(custom ops/fused kernels)

vLLMはユーザー定義のCUDAカーネル登録をサポートし、TGIのcustom_kernels設定項目はサードパーティのビルド成果物の読み込みを許している。本来は性能最適化のためだが、「どのオペレーターを読み込むか」という判断にモデル出力が介入できるなら、攻撃口が開く。悪意あるPTX/SPIR-Vを流し込めば、GPUドライバ層で止められる保証はない。

2. JITコンパイル経路

llama.cppの一部ブランチでは、TorchScript風の動的コンパイルで推論を高速化している。モデルの返す「設定」や「プロンプト断片」がJITモードへの切替を誘発できれば、攻撃者が仕込んだコードはプロセス内でそのまま実行される。

3. 露出したHTTP/RPCポート

多くの推論エンジンは、デフォルトで127.0.0.1ではなく0.0.0.0をバインドする。DeepSeek-7Bを自分でデプロイしたときにも遭遇したが、vLLMの--host 0.0.0.0がデフォルトだ。ローカルで動かす分には問題ないが、クラウドに上げれば推論サービス丸ごとがパブリックに露出する。Kane氏が指摘しているのはこうした「丸見え」設定よりさらに厄介な事例で、localhostにバインドしていても、モデル出力がエンジン内部のスケジューリングロジックに影響を与えるケースがある。

4. モデル重みの解析経路

GGUF、SafeTensors、HuggingFaceのcheckpoint——これらのパーサーはどれくらいfuzzテストされてきたか。答えは「ブラウザエンジンにはるか及ばない」。重みの汚染は既知のリスクだ(PyTorch 2022年のCVE-2022-29248を参照)。しかしGGUFエコシステムのfuzzカバレッジはほぼゼロと言っていい。

中核となるチェーンは以下のとおり。

ユーザー入力 → LLM推論 → モデル出力 → エンジンが「命令」として解釈 → ホストプロセスが動作

最後のステップが決定的に重要で、モデル出力がパーサー、スケジューラ、JITから信頼された入力として扱われてしまう。

なぜこれは新しいのか:prompt injectionの先にある戦場

古典的なprompt injectionの目的はモデルが何を発言するかにある。フィッシングトークンを吐かせる、安全ガードレールを突破させる、システムプロンプトを漏洩させる——いずれも「情報層」の被害で、テキストが漏れたら削除すれば済む。

Kane氏の記述する攻撃は、モデルが何をするかが標的になる。

  • 従来:モデルが「パスワードを attacker@evil.com まで送ってください」と出力
  • 新手の攻撃:モデルの出力がエンジンに悪意あるカーネルのロードをさせ、攻撃者がホスト上でシェルを取る

前者はソーシャルエンジニアリング、後者はRCE(remote code execution)で、脅威の桁が違う。

さらに厄介なのは、古典的prompt injectionならモデル出力を精査すれば気付ける点だ。新手の攻撃ではモデル出力は一見すると完全に正常——普通のJSON、普通のトークン列——なのに、エンジン内部で危険な経路が起動する。ログには「loaded custom op」と一行残るだけだ。

ローカル運用はむしろ危険

これはコメント欄で最も反発を買い、同時に最も直感に反する論点だ。

多くの個人開発者はこう考える。「Ollamaで自分のMacでモデルを動かす、データは一切アップロードしない、OpenAIのAPIより安全なはずだ」——Kane氏の記事は、この発想が2025年以降は誤りだと明言している。

理由は単純だ。

デプロイ方式攻撃対象
OpenAI/AnthropicのAPIネットワーク層、APIキー管理
ローカル Ollama/vLLMGPUドライバ、モデル重みパーサー、CUDA toolkit、システムコール

APIを使う場合の攻撃対象はAPIキーとネットワークパケットだけだ。モデル重み、パーサー、GPUドライバはベンダー側にあり、専門チームが付いている。

ローカルデプロイではこれらがすべて自分のマシンで動く。そして大多数の個人開発者は、GGUFパーサーにfuzzを走らせたことも、llama.cppのJIT経路を監査したこともないだろう。OpenAIのセキュリティチームから自分へ責任が移ってくるが、自分にはそれを引き受ける能力がない。

さらに悪いことに、Ollamaは「一発で動く」ことを設計目標にしているため、デフォルトで--host 0.0.0.0が常态だ。社内LANや自宅でLinuxワークステーション+Ollamaを動かすと、LAN内の誰でも推論ポートへアクセスできる。そしてそのポートの裏には、任意のGPUコードを実行できる完全なマシンがある。

編集部の見解

Kane氏の記事が本当に警鐘に値するのは、具体的な脆弱性を列挙しているからではない(これらの脆弱性にはほぼPoCがなく、実際に悪用された事例もない)。むしろセキュリティ責任の空白地帯を可視化している点にある。

推論エンジンの作者はAIの性能研究者が多く、彼らのセキュリティモデルは「モデル出力はテキストである」という前提に留まっている。だがvLLMやTGIは、スケジューラ、カスタムオペレーター登録、動的コンパイルを備えた複雑なランタイムシステムへ進化している。もはや「モデル推論器」ではなく「AI OS」だが、誰もOSのセキュリティ基準でそれを監査していない。

過去のセキュリティ議論と比較するとこうなる。

  • 2018年のモデル脱獄議論——焦点は「モデルが有害な出力を出せるか」。情報セキュリティの問題。
  • 2023年のprompt injection議論——焦点は「モデルを騙せるか」。まだ情報層。
  • Kane氏今回の提起——「モデル出力をコード実行に変換できるか」。インフラセキュリティの問題。

私見では、今後12か月で推論エンジンのセキュリティ監査が独立したカテゴリになる。いまvLLMやTGIのセキュリティレビューは主にコミュニティのボランティアに依存しており、問題発見は運次第だ。AnthropicやOpenAIのようなクローズドなAPIベンダーはモデル層に巨額を投じるが、推論エンジン側——特にオープンソース側はほぼ丸裸だ。

特に補強が必要なのは以下の3点。

  1. モデル出力とエンジン内部の境界——モデル出力を信頼できない入力として扱い、最低限サンドボックス化された解析を行う。
  2. デフォルトでのlocalhostバインド——vLLM、Ollama、TGIはいずれもデフォルトを--host 127.0.0.1とし、ユーザーが能動的に開く形にする。
  3. 重みパーサーのfuzzテスト——GGUFやSafeTensorsの解析経路は、ブラウザのHTMLパーサーのように継続的にfuzzされるべき。

これらの攻撃が大規模に悪用されると断言する勇気はない。歴史上、「理論上は可能」だった攻撃の多くは、実際に大きな脅威にならなかった。ただし推論エンジンは既に十分に複雑になっている。最初のPoCが出てから慌てても手遅れだ。


参考:

出典: https://boydkane.com/essays/llls-could-control-their-host-machines-by-exploiting-inference-engines