上週 Hacker News 榜首出現了一篇文章,作者 Boyd Kane,標題是《LLMs could control their host machines by exploiting inference engines》(原文連結)。發布幾小時內就拿到 19 分、6 則留言——在安全類話題中算是相當高的關注度。
這篇既非學術論文,也不是漏洞揭露(沒有 CVE、沒有 PoC 倉庫)。它更像一份「路線圖」:把推理引擎裡那些容易被忽略的攻擊面攤開,提醒從事本地部署的人——你以為模型只是個統計函式,但它能反過來動你的機器。
事件始末:一篇登上 HN 榜首的文章
Boyd Kane 的部落格架在 boydkane.com,文章偏向實戰觀察型。作者自己也坦言:「這不是 0day,是一連串已知風險的組合。」
HN 留言區反應兩極:
- 一派認為「這不就是 prompt injection 換湯不換藥嗎」。Kane 直接回嗆:傳統 prompt injection 是騙模型說話,這次的攻擊目標是讓模型做事,執行環境是宿主的處理程序。
- 另一派是搞維運的,列舉自己遇過的詭異案例:模型回傳了一段 GPU kernel 程式碼,推理引擎沒做沙箱就直送驅動層;或是模型輸出被當成 shell 指令片段,拼進部署腳本裡。
吵歸吵,沒人能否認一件事:目前沒有任何主流推理引擎把「模型輸出」視為不可信賴的輸入來對待。
攻擊面長什麼樣:vLLM / TGI / llama.cpp 哪裡能被突破
Kane 文章中點名的幾條路徑並非憑空想像,而是這些引擎本身就暴露的能力:
1. 自訂運算子(custom ops / fused kernels)
vLLM 支援使用者註冊自訂 CUDA kernel,TGI 的 custom_kernels 設定項允許載入第三方編譯產物。這些運算子本來是為效能優化設計的。但只要模型輸出能影響「載入哪個運算子」的決策,攻擊面就跟著打開——塞一段惡意 PTX/SPIR-V 進去,GPU 驅動層未必擋得住。
2. JIT 編譯路徑
llama.cpp 在某些分支中使用了類似 TorchScript 的動態編譯來加速推理。若模型回傳的「設定」或「提示詞片段」能誘導引擎切換到 JIT 模式,攻擊者塞進去的程式碼就在處理程序內直接執行。
3. 對外暴露的 HTTP/RPC 埠
大多數推理引擎預設監聽 0.0.0.0 而非 127.0.0.1。這問題我自己部署 DeepSeek-7B 時就遇過——vLLM 的 --host 0.0.0.0 是預設值。本地跑沒事,掛到雲上等於把整個推理服務攤在公網。Kane 提的不是這種「裸奔」設定,而是更狠的:即使綁定 localhost,模型輸出依然能影響引擎內部的調度邏輯。
4. 模型權重解析路徑
GGUF、SafeTensors、HuggingFace checkpoint——這些格式的解析器做過多少 fuzz 測試?答案是:遠不及瀏覽器引擎。模型權重遭汙染是已知風險(參見 PyTorch 2022 年的 CVE-2022-29248),但 GGUF 生態的 fuzz 涵蓋率幾乎為零。
核心鏈路如下:
使用者輸入 → LLM 推理 → 模型輸出 → 被引擎當成「指令」→ 觸發宿主處理程序行為
最後一步才是關鍵——模型輸出被解析器、排程器、JIT 視為可信賴的輸入。
為什麼這不是老問題:prompt injection 之外的新戰場
傳統 prompt injection 的攻擊目標是模型說了什麼:讓它輸出釣魚話術、繞過安全護欄、外洩系統 prompt。後果屬於「資訊層面」——文字流出去,刪掉就好。
Kane 描述的攻擊,目標是模型做了什麼:
- 傳統情況:模型輸出「請把密碼寄到 attacker@evil.com」
- 新攻擊:模型輸出觸發引擎載入一段惡意 kernel,讓攻擊者在宿主機上拿到 shell
前者是社交工程,後者是 RCE(remote code execution)。威脅等級不在同一個量級。
更陰險的地方在於:傳統 prompt injection 你能靠審查模型輸出來發現。新攻擊中模型輸出可能完全正常——一段普通的 JSON、一串普通的 token 序列——但引擎內部解析時觸發危險路徑。日誌裡只會留下一行 loaded custom op。
本地部署反而更危險
這是留言區被吐槽最多、也最違反直覺的一點。
許多個人開發者覺得:「我用 Ollama 在自己的 Mac 上跑模型,不上傳任何資料,總比呼叫 OpenAI API 安全吧?」——Kane 的文章直接指出,這種想法在 2025 年之後是錯的。
原因很單純:
| 部署方式 | 暴露面 |
|---|---|
| OpenAI / Anthropic API | 網路層、API key 管理 |
| 本地 Ollama / vLLM | GPU 驅動、模型權重解析、CUDA toolkit、系統呼叫 |
呼叫 API 時,你的攻擊面是 API key 和網路封包。模型權重、解析器、GPU 驅動全在廠商那邊,有專門團隊盯著。
本地部署時,這些都跑在你自己的機器上。而且絕大多數個人開發者從未給 GGUF 解析器跑過 fuzz,也沒審計過 llama.cpp 的 JIT 路徑。你把安全責任從 OpenAI 的安全團隊接到了自己手上,但你沒有那個能力接。
更糟的是,Ollama 的設計目標是「一鍵就能跑」,預設設定中 --host 0.0.0.0 是常態。在公司內網或家裡放一台 Linux 工作站加 Ollama,區域網路內任何人都能存取你的推理埠——而那個埠背後,是一台能執行任意 GPU 程式碼的完整機器。
編輯觀點
Kane 這篇文章真正值得警惕的地方,不在它列出哪些具體漏洞(這些漏洞大多沒有 PoC,也沒人真的去利用),而是它揭示了一個安全責任的真空地帶:
推理引擎的作者大多是 AI 效能研究者,他們的安全模型停留在「模型輸出是文字」這個假設上。但 vLLM、TGI 已經演化成複雜的執行階段系統——有排程器、有自訂運算子註冊、有動態編譯。它們不再是「模型推理器」,而是「AI 作業系統」,但沒有人用作業系統的安全標準去審視它們。
跟過去的安全討論做對比:
- 2018 年的模型逃逸討論,焦點是「模型能不能輸出有害內容」——屬於資訊安全問題。
- 2023 年的 prompt injection 討論,焦點是「模型能不能被騙」——仍在資訊層。
- Kane 這次提的,是「模型輸出能不能變成程式碼執行」——這是基礎設施安全問題。
我的判斷:未來 12 個月,推理引擎的安全稽核會成為一個獨立賽道。目前 vLLM、TGI 的安全審查主要靠社群志工,發現問題全憑運氣。Anthropic、OpenAI 這類閉源 API 供應商在模型層投入大量資源,但在推理引擎端——尤其是開源這一側——幾乎是裸奔狀態。
最需要補強的環節:
- 模型輸出到引擎內部的邊界——把模型輸出當不可信輸入處理,至少做到沙箱化解析。
- 預設綁定 localhost——vLLM、Ollama、TGI 都應該預設
--host 127.0.0.1,由使用者主動開啟對外服務。 - 權重解析器的 fuzz 測試——GGUF、SafeTensors 的解析路徑需要像瀏覽器解析 HTML 那樣被持續 fuzz。
我也不敢打包票說這些攻擊一定會被大規模利用——歷史上類似「理論可行」的攻擊很多,最終變成真實威脅的少數。但推理引擎已經夠複雜了,等到第一個真實 PoC 出現再補救,就太遲了。
參考: