觀點

模型權重也能成為攻擊載體?LLM 供應鏈風險解析

惡意模式可能藏入模型權重,並在模型下載、轉換、量化與微調後持續傳播。現階段仍缺乏完整證據,但生產團隊應固定模型來源、保存雜湊值,並針對最終部署的權重進行安全審計。

字級

AlphaXiv 論文《2611.weight-space-misfolding》提出,惡意模式可能藏在模型權重中,並隨著模型分享與衍生的過程傳播。這會影響所有從 Hugging Face 等儲存庫下載、轉換並部署 LLM 的團隊。

相關條目登上 Hacker News 首頁,獲得 62 分與 30 則留言。討論熱度不低,但現有摘要仍未提供足夠的復現資料。

原始資料:

模型權重也能成為攻擊載體?LLM 供應鏈風險解析

論文《2611.weight-space-misfolding》的核心論點是:惡意模式可能存在於模型權重中,並隨著模型載入、分享與部署而傳播。

論文討論的傳播環節包括:

  • 模型權重被上傳至公開儲存庫;
  • 使用者下載並載入模型;
  • 權重經過量化、格式轉換或合併;
  • 微調後的模型再次進入散布流程。

不過,這裡需要保持謹慎。

論文標題與摘要提出的是研究方向及安全主張,並不等於已經證明攻擊正大規模出現在 Hugging Face 等平台。現有新聞摘要未提供感染率、攻擊成功率、實驗模型規模或具體惡意載荷。

因此,更準確的說法是:一種過去遭到低估的供應鏈攻擊路徑值得檢查,而不是「模型病毒已經橫掃模型儲存庫」。

權重並非一般資料檔案

傳統軟體供應鏈中的惡意程式碼,通常藏在原始碼、編譯腳本、相依套件或建置產物中。掃描器會將這些檔案視為程式。

訓練資料則不同。文字、圖片或音訊通常無法脫離解譯器直接執行,模型權重更麻煩。

權重會透過矩陣運算影響輸出。惡意模式可以編碼在參數中,再由特定輸入觸發。微調與模型合併也可能影響衍生模型。

整條攻擊鏈可以簡化為:

惡意模式進入權重
        ↓
模型上傳或衍生權重被分享
        ↓
下載者載入模型
        ↓
特定輸入觸發異常行為
        ↓
被觸發的模型繼續生成、衍生或部署權重

觸發條件也未必明顯。攻擊者可能使用固定 token、特定語意、異常編碼格式,或要求模型執行不應執行的任務。

這與惡意 npm 套件仍有差異。惡意套件可能執行安裝腳本、修改檔案或連線至外部伺服器;惡意權重通常藏得更深。模型可以正常載入,也會正常回答一般問題,直到收到目標輸入。

因此,只觀察 API 輸出,很難判斷權重是否遭到污染。

模型儲存庫可能成為傳播面

一般模型的工作流程如下:

  1. 從模型儲存庫下載基座權重;
  2. 確認檔案是否完整;
  3. 使用 safetensors、PyTorch 或其他格式載入;
  4. 進行量化、LoRA 合併或完整微調;
  5. 匯出新模型;
  6. 推送至內部制品庫或公開儲存庫;
  7. 透過 vLLM、Transformers 等執行環境部署。

其中任何一步都可能成為傳播節點,尤其是第 4 步與第 5 步。

LoRA 合併會把適配器參數寫回基座模型。完整微調會更新大量參數。模型合併則可能將多個模型的參數組合成新版本。完成這些操作後,新權重不會等同於任何原始檔案。

這帶來兩個問題。

第一,原儲存庫的掃描結果未必能涵蓋衍生模型。

第二,量化、格式轉換與參數合併可能改變惡意模式,也可能讓觸發條件產生偏移。不能想當然認為「轉成 safetensors 就安全了」,也無法假設「量化一定會保留後門」。安全判斷必須針對最終部署的具體權重進行。

另一個容易忽略的問題是權限。模型儲存庫通常允許衍生模型繼續上傳。如果團隊把「下載模型後重新發布」納入工作流程,也就等同複製了程式碼相依散布中的信任問題。上游若遭污染,衍生版本也可能已被污染。

現有證據還缺哪些數據

要判斷風險有多高,至少需要看到以下指標:

指標 復現實驗需要回答的問題
感染率 有多少公開或實驗中建立的模型含有惡意模式?樣本如何選取?
攻擊成功率 在明確觸發條件下,惡意行為出現的頻率為何?
誤報率 正常模型有多少被偵測工具誤判?
實驗模型規模 測試了哪些架構、參數量與模型家族?
具體惡意載荷 行為是竊取資料、輸出暗號、產生不安全程式碼,還是其他形式?
觸發條件 需要什麼輸入?是否具有可轉移性?
轉換存活率 經過量化、LoRA 合併、完整微調與模型合併後,還剩下多少?
基準成本 掃描每個模型需要多少 GPU、時間與顯示記憶體?

尤其需要區分兩個概念:

  • 權重中存在異常模式;
  • 異常模式能在真實任務中穩定觸發惡意行為。

前者是偵測訊號,後者才是攻擊結果。如果論文只展示參數異常、可視化結果或少量範例,仍不足以估算真實攻擊面。

對讀者而言,目前不宜下載來源不明的「惡意模型偵測器」,因為它本身也可能成為新的供應鏈入口。

安全審計要從程式碼延伸至權重

較現實的做法,是把模型視為需要簽署與追蹤來源的軟體制品。

1. 固定模型來源

為生產模型建立 allowlist,記錄儲存庫、revision、檔案清單與轉換流程。不要只記錄 main 分支或最新版本。

Hugging Face 儲存庫可使用 revision 雜湊值固定特定提交,不必跟隨可能變動的預設分支。

2. 檢查雜湊值與格式

對下載檔案計算 SHA-256,並與可信清單比對。safetensors 能降低反序列化時執行程式碼的風險,但不能證明模型行為無害。

可以先使用標準函式庫計算雜湊值:

from hashlib import sha256
from pathlib import Path

def sha256_file(path: str) -> str:
    digest = sha256()
    with Path(path).open("rb") as file:
        for chunk in iter(lambda: file.read(1024 * 1024), b""):
            digest.update(chunk)
    return digest.hexdigest()

print(sha256_file("model.safetensors"))

這段程式碼只能確認檔案一致,不能證明其中沒有後門,兩者必須分開判斷。

3. 隔離推理環境

模型執行時應使用唯讀檔案系統、限制網路出口,並關閉不必要的工具呼叫權限。

尤其在 AI Agent 情境中,模型既能讀取資料,也能呼叫 shell、瀏覽器或資料庫;權重中的觸發行為才可能從異常輸出升級為實際操作。

不要讓模型預設存取正式環境憑證。

4. 比較原模型與候選權重

針對基座模型、LoRA 合併版本、量化版本與最終部署版本,分別執行固定的回歸測試集與觸發測試。重點比較:

  • 一般任務的輸出分佈;
  • 安全任務的拒答率;
  • 特殊 token、編碼與長上下文下的行為;
  • 工具呼叫參數是否出現異常;
  • 相同輸入多次執行時的穩定性。

如果只能做一件事,就應保存模型版本、雜湊值、轉換指令與評測結果。缺少這些紀錄,事故發生後便難以釐清「污染從何而來」。

編輯觀察

真正值得警惕的,不只是某個惡意模型,而是權重已像可執行相依套件般被大量散布。程式碼套件出現 CVE 後,可以更新版本;模型權重卻經常被複製、改名、量化、合併,再進入新的儲存庫。組織過去圍繞 package、image 與 endpoint 建立的安全邊界,正逐漸忽略參數檔案。

我的判斷是,模型儲存庫遲早需要類似軟體套件簽署、版本稽核與可追溯建置的機制。具體做法未必直接沿用既有方案,但可以借用其思路:簽署用於確認來源,SBOM 用於盤點相依關係,行為評測則針對最終制品。

這次與過去不同的地方,在於攻擊面從「程式碼決定做什麼」擴展至「參數決定如何回應」,而這個領域目前仍缺乏成熟的業界共識。

不確定性也很明確:摘要缺少感染率、攻擊成功率與具體載荷,因此不能據此斷言攻擊已大規模出現。但這項風險值得當成需要驗證的高假設,優先納入流程,而不是等儲存庫遭到投毒後才著手修改。

來源

https://www.alphaxiv.org/abs/2611.weight-space-misfolding

來源: https://www.alphaxiv.org/abs/2611.weight-space-misfolding