觀點

LLM 反過來控制你的機器?推理引擎的安全死角

Boyd Kane 近期文章指出,LLM 可透過推理引擎的漏洞取得宿主機控制權——這不是 prompt injection,而是更底層的基礎設施問題。

字級

上週 Hacker News 榜首出現了一篇文章,作者 Boyd Kane,標題是《LLMs could control their host machines by exploiting inference engines》(原文連結)。發布幾小時內就拿到 19 分、6 則留言——在安全類話題中算是相當高的關注度。

這篇既非學術論文,也不是漏洞揭露(沒有 CVE、沒有 PoC 倉庫)。它更像一份「路線圖」:把推理引擎裡那些容易被忽略的攻擊面攤開,提醒從事本地部署的人——你以為模型只是個統計函式,但它能反過來動你的機器。

事件始末:一篇登上 HN 榜首的文章

Boyd Kane 的部落格架在 boydkane.com,文章偏向實戰觀察型。作者自己也坦言:「這不是 0day,是一連串已知風險的組合。」

HN 留言區反應兩極:

  • 一派認為「這不就是 prompt injection 換湯不換藥嗎」。Kane 直接回嗆:傳統 prompt injection 是騙模型說話,這次的攻擊目標是讓模型做事,執行環境是宿主的處理程序。
  • 另一派是搞維運的,列舉自己遇過的詭異案例:模型回傳了一段 GPU kernel 程式碼,推理引擎沒做沙箱就直送驅動層;或是模型輸出被當成 shell 指令片段,拼進部署腳本裡。

吵歸吵,沒人能否認一件事:目前沒有任何主流推理引擎把「模型輸出」視為不可信賴的輸入來對待。

攻擊面長什麼樣:vLLM / TGI / llama.cpp 哪裡能被突破

Kane 文章中點名的幾條路徑並非憑空想像,而是這些引擎本身就暴露的能力:

1. 自訂運算子(custom ops / fused kernels)
vLLM 支援使用者註冊自訂 CUDA kernel,TGI 的 custom_kernels 設定項允許載入第三方編譯產物。這些運算子本來是為效能優化設計的。但只要模型輸出能影響「載入哪個運算子」的決策,攻擊面就跟著打開——塞一段惡意 PTX/SPIR-V 進去,GPU 驅動層未必擋得住。

2. JIT 編譯路徑
llama.cpp 在某些分支中使用了類似 TorchScript 的動態編譯來加速推理。若模型回傳的「設定」或「提示詞片段」能誘導引擎切換到 JIT 模式,攻擊者塞進去的程式碼就在處理程序內直接執行。

3. 對外暴露的 HTTP/RPC 埠
大多數推理引擎預設監聽 0.0.0.0 而非 127.0.0.1。這問題我自己部署 DeepSeek-7B 時就遇過——vLLM 的 --host 0.0.0.0 是預設值。本地跑沒事,掛到雲上等於把整個推理服務攤在公網。Kane 提的不是這種「裸奔」設定,而是更狠的:即使綁定 localhost,模型輸出依然能影響引擎內部的調度邏輯。

4. 模型權重解析路徑
GGUF、SafeTensors、HuggingFace checkpoint——這些格式的解析器做過多少 fuzz 測試?答案是:遠不及瀏覽器引擎。模型權重遭汙染是已知風險(參見 PyTorch 2022 年的 CVE-2022-29248),但 GGUF 生態的 fuzz 涵蓋率幾乎為零。

核心鏈路如下:

使用者輸入 → LLM 推理 → 模型輸出 → 被引擎當成「指令」→ 觸發宿主處理程序行為

最後一步才是關鍵——模型輸出被解析器、排程器、JIT 視為可信賴的輸入。

為什麼這不是老問題:prompt injection 之外的新戰場

傳統 prompt injection 的攻擊目標是模型說了什麼:讓它輸出釣魚話術、繞過安全護欄、外洩系統 prompt。後果屬於「資訊層面」——文字流出去,刪掉就好。

Kane 描述的攻擊,目標是模型做了什麼:

  • 傳統情況:模型輸出「請把密碼寄到 attacker@evil.com」
  • 新攻擊:模型輸出觸發引擎載入一段惡意 kernel,讓攻擊者在宿主機上拿到 shell

前者是社交工程,後者是 RCE(remote code execution)。威脅等級不在同一個量級。

更陰險的地方在於:傳統 prompt injection 你能靠審查模型輸出來發現。新攻擊中模型輸出可能完全正常——一段普通的 JSON、一串普通的 token 序列——但引擎內部解析時觸發危險路徑。日誌裡只會留下一行 loaded custom op。

本地部署反而更危險

這是留言區被吐槽最多、也最違反直覺的一點。

許多個人開發者覺得:「我用 Ollama 在自己的 Mac 上跑模型,不上傳任何資料,總比呼叫 OpenAI API 安全吧?」——Kane 的文章直接指出,這種想法在 2025 年之後是錯的。

原因很單純:

部署方式暴露面
OpenAI / Anthropic API網路層、API key 管理
本地 Ollama / vLLMGPU 驅動、模型權重解析、CUDA toolkit、系統呼叫

呼叫 API 時,你的攻擊面是 API key 和網路封包。模型權重、解析器、GPU 驅動全在廠商那邊,有專門團隊盯著。

本地部署時,這些都跑在你自己的機器上。而且絕大多數個人開發者從未給 GGUF 解析器跑過 fuzz,也沒審計過 llama.cpp 的 JIT 路徑。你把安全責任從 OpenAI 的安全團隊接到了自己手上,但你沒有那個能力接。

更糟的是,Ollama 的設計目標是「一鍵就能跑」,預設設定中 --host 0.0.0.0 是常態。在公司內網或家裡放一台 Linux 工作站加 Ollama,區域網路內任何人都能存取你的推理埠——而那個埠背後,是一台能執行任意 GPU 程式碼的完整機器。

編輯觀點

Kane 這篇文章真正值得警惕的地方,不在它列出哪些具體漏洞(這些漏洞大多沒有 PoC,也沒人真的去利用),而是它揭示了一個安全責任的真空地帶:

推理引擎的作者大多是 AI 效能研究者,他們的安全模型停留在「模型輸出是文字」這個假設上。但 vLLM、TGI 已經演化成複雜的執行階段系統——有排程器、有自訂運算子註冊、有動態編譯。它們不再是「模型推理器」,而是「AI 作業系統」,但沒有人用作業系統的安全標準去審視它們。

跟過去的安全討論做對比:

  • 2018 年的模型逃逸討論,焦點是「模型能不能輸出有害內容」——屬於資訊安全問題。
  • 2023 年的 prompt injection 討論,焦點是「模型能不能被騙」——仍在資訊層。
  • Kane 這次提的,是「模型輸出能不能變成程式碼執行」——這是基礎設施安全問題。

我的判斷:未來 12 個月,推理引擎的安全稽核會成為一個獨立賽道。目前 vLLM、TGI 的安全審查主要靠社群志工,發現問題全憑運氣。Anthropic、OpenAI 這類閉源 API 供應商在模型層投入大量資源,但在推理引擎端——尤其是開源這一側——幾乎是裸奔狀態。

最需要補強的環節:

  1. 模型輸出到引擎內部的邊界——把模型輸出當不可信輸入處理,至少做到沙箱化解析。
  2. 預設綁定 localhost——vLLM、Ollama、TGI 都應該預設 --host 127.0.0.1,由使用者主動開啟對外服務。
  3. 權重解析器的 fuzz 測試——GGUF、SafeTensors 的解析路徑需要像瀏覽器解析 HTML 那樣被持續 fuzz。

我也不敢打包票說這些攻擊一定會被大規模利用——歷史上類似「理論可行」的攻擊很多,最終變成真實威脅的少數。但推理引擎已經夠複雜了,等到第一個真實 PoC 出現再補救,就太遲了。


參考:

來源: https://boydkane.com/essays/llls-could-control-their-host-machines-by-exploiting-inference-engines