預訓練投毒會將後門帶進 Agent 的規劃與工具呼叫階段。安全團隊除了檢查提示詞,還必須追蹤訓練資料、模型版本與執行軌跡。以下提供一份可直接採用的排查清單。
預訓練投毒解析:Agent 後門藏在工具鏈裡
63 分背後浮現的新攻擊面
論文《Agentic backdoors via pretraining poisoning》登上 Hacker News 首頁,獲得 63 分與 14 則留言。論文連結:https://arxiv.org/abs/2610.37741,arXiv 編號為 2610.37741。
這項工作的重點並非再次示範提示注入,而是將 Agent 後門從執行階段的輸入向前推進至模型訓練階段:透過預訓練資料投毒,讓模型在載入參數時便已內建惡意行為。
因此,攻擊面也跟著改變。
傳統應用會檢查使用者輸入、系統提示詞與工具回傳值,預訓練投毒卻繞過了這層執行期檢查。惡意模式已寫入權重,當 Agent 收到特定任務後,便透過規劃、工具選擇或參數生成被觸發。
必須釐清的是,現有資料未提供實驗模型、攻擊成功率、測試基準與程式碼,論文的技術結論仍有待回看正文驗證。63 分與 14 則留言反映的是社群關注度,並不代表已有重現結果。
但研究方向已經足夠明確。安全團隊不能只問「這個 Agent 會不會被 prompt injection 騙到」,還必須追問:「下載的權重來自哪些資料?訓練資料能否追溯?模型是否只在某個狹窄條件下出現異常?」
Agent 後門不只改變答案
一般後門模型的常見行為,是在遇到觸發詞後輸出特定答案、拒絕回答,或產生某段固定文字。
Agentic Backdoor 更難處理。
Agent 的執行路徑通常不是一段文字,而是以下狀態轉換:
理解任務 → 制定計畫 → 選擇工具 → 生成參數 → 讀取結果 → 繼續規劃 → 回傳答案
惡意行為可以藏在其中任何一步。
例如,正常流程要求從工單系統讀取資訊,再將結果寫入 CRM。遭投毒的模型可能在符合某個罕見條件時額外呼叫一個工具,也可能選擇錯誤工具,或將看似合理、實際已被篡改的參數交給下游服務。
最終答案甚至看不出異常。
任務完成了,日誌也顯示每一步都在允許的工具清單內。問題在於,模型從一開始就把「錯誤步驟」理解為正確計畫。
這比明顯的越權文字更難發現。若安全審查只檢查最終回應,就等同於只看航班落地後的機艙是否整齊,完全看不到途中遭改動的航線。
Agentic AI 的工具呼叫、規劃與執行流程,會擴大後門的影響範圍。惡意行為不一定表現為直接拒答或越權文字,也可能只是一次工具選擇正確、順序錯誤或參數偏多的呼叫。
為什麼投毒難以查覺
預訓練投毒的第一層隱蔽性,來自觸發條件可能非常狹窄。
攻擊者可以將條件藏在低頻組合中,例如:
- 特定客戶名稱與工單類型同時出現;
- 只有在夜間批處理時才會滿足的某項狀態;
- 正常業務術語與罕見數值的組合;
- 只有多輪任務執行至第三步才成立的条件。
常規評測通常涵蓋常見任務,不會系統性地枚舉這些組合。
第二層隱蔽性來自行為外觀。Agent 在絕大多數測試中都能規劃、呼叫工具並完成任務。模型可能只在極小機率路徑上改變動作,而單次端到端測試很容易將其視為雜訊。
第三層隱蔽性來自供應鏈。
模型開發者通常拿到的不是完整訓練集,而是清洗後的 JSONL、網頁快照、合成資料或第三方資料分片。惡意樣本可能沒有醒目的惡意字串,只是語法、語氣或事實模式看起來略有不同。
更現實的情況是,開發者甚至不知道某個分片是否曾參與訓練。資料版本混亂、清洗規則不透明,以及訓練集與評測集之間存在重複,都會讓問題更難定位。
排查不能只靠「拿模型問一些異常問題」。應從資料來源開始,核對樣本雜湊值、採集時間、清洗版本、去重紀錄與訓練 manifest,還要確認評測資料確實未出現在預訓練語料中。
這也是全文最實用的一項提醒:模型安全不能靠下載權重後臨時補上一層系統提示詞來解決。提示詞可以約束行為,卻無法證明權重本身沒有問題。
別只測 Agent 的最終輸出
評測 Agent 時,只記錄最終答案通常不夠。
一套可執行的基本日誌結構,可以保存每次工具呼叫的名稱、參數、回傳值摘要以及前後狀態:
from dataclasses import asdict, dataclass
from datetime import datetime, timezone
@dataclass
class ToolCall:
step: int
tool: str
arguments: dict
result_summary: str
timestamp: str
class AgentTrace:
def __init__(self, task_id: str):
self.task_id = task_id
self.calls: list[ToolCall] = []
def record(
self,
step: int,
tool: str,
arguments: dict,
result,
) -> None:
self.calls.append(
ToolCall(
step=step,
tool=tool,
arguments=arguments,
result_summary=str(result)[:200],
timestamp=datetime.now(timezone.utc).isoformat(),
)
)
def to_dict(self) -> dict:
return {
"task_id": self.task_id,
"tool_calls": [asdict(call) for call in self.calls],
}
這段程式碼本身不負責偵測後門,但能先解決一項常見問題:沒有執行軌跡,就無法比較異常路徑。
取得軌跡後,再補上四類測試。
第一類,觸發條件測試。
將可疑條件拆成個別維度,包括客戶、日期、檔案類型、任務階段、權限角色與參數邊界。不要只測試一個完整句子,也要確認條件是否必須同時成立。
第二類,異常路徑測試。
同一項任務至少執行數次,比較工具呼叫序列。如果模型輸出看似穩定,但工具選擇或參數存在小幅隨機性,便需要判斷這是模型本身的不確定性,還是後門觸發前後的分布差異。
第三類,最小權限測試。
工具預設只開放完成任務所需的最小能力。讀取檔案與寫入檔案應分開,寄送郵件、刪除資源與存取憑證也應分開。
Agent 被誘導額外呼叫一個唯讀工具,與被誘導將檔案傳送到外部位址,不應採用同一套風險判準。
第四類,結果驗證測試。
不要只確認任務是否完成,還要檢查中間狀態。例如,CRM 欄位是否直接來自工單原文、金額是否經過區間驗證、檔案路徑是否仍位於允許的目錄中。惡意參數仍可能產生「成功」回應。
對於使用 Claude、LangGraph 或其他框架打造的 Agent,測試應放在狀態圖與工具執行邊界,而非只放在最終回答層。日誌也要記錄每一步的輸入與輸出摘要;涉及敏感資料時,應對參數進行遮蔽處理。
模型供應鏈必須保留稽核證據
要調查預訓練投毒,最終得仰賴訓練階段留下的證據。
至少應保留下列紀錄:
- 訓練資料來源、授權條款與採集時間;
- 每個資料分片的版本、雜湊值與處理紀錄;
- 清洗、去重、合成與標註規則;
- 資料集與訓練設定之間的對應關係;
- 模型權重對應的確切 commit;
- 後門測試集與回歸測試結果。
對開放權重模型而言,只保存最終權重並不足夠。權重經過微調、量化、合併或載入 Adapter 後,風險狀態會改變。稽核紀錄必須隨著模型版本持續更新。
對閉源 API 而言,供應商需要提供更嚴格的變更控制與事件揭露機制。開發者至少應保存請求版本、工具設定、權限策略與呼叫軌跡,否則模型更新後,很難重現一次異常事件。
以下是基本的模型清單範例:
model: internal-agent-model
weights_commit: "sha256:example-model-commit"
base_model: "vendor/model-name@2026-01"
training_data_manifest: "data/manifest-v3.json"
data_cleaning_version: "cleaner-2.4.1"
tool_permissions: "policy/tools-minimal-v2.yaml"
evaluation_suite: "eval/backdoor-regression-v1"
last_verified_at: "2026-01-15T10:00:00Z"
範例值不可直接用於正式環境。實際清單應換成可驗證的 commit、資料版本與測試結果,並避免在儲存庫中暴露憑證或內部資料路徑。
更關鍵的是建立異常行為回歸測試。某個觸發條件今天沒有被觸發,不代表往後也不會發生。模型升級、工具改名或重新清洗資料,都可能改變觸發機率。
安全團隊應為 Agent 模型單獨維護一套回歸測試集。它不必公開攻擊方案,但必須涵蓋:
- 敏感工具的呼叫邊界;
- 罕見條件的組合測試;
- 異常參數與路徑驗證;
- 權限提升與間接提示注入情境;
- 正常任務的穩定性基準。
每次更換模型、工具或資料版本,都應重新執行這套測試。
至於論文《Agentic backdoors via pretraining poisoning》的具體實作,仍須回看 arXiv 正文。現有資料未包含實驗模型、攻擊成功率、基準與程式碼資訊,因此不能把研究方向寫成已重現的攻擊數據。
編輯觀察
這項研究的重要性,不只在於「預訓練也可能遭到投毒」,而是它將 Agent 安全的邊界推向了模型供應鏈。提示注入發生在任務執行期間,訓練投毒則發生在模型交付之前;後者更難追溯,也更難靠新增一條系統提示詞修復。下一波 Agent 安全審查預計不會只看工具權限,而會將權重來源、資料版本與執行軌跡納入同一份稽核紀錄。
這與過去的提示注入案例不同:惡意行為可以藏在規劃與參數生成中,最終回答仍然正確,常規成功率指標也可能看不出問題。不過,由於論文的實驗模型、攻擊成功率與 benchmark 尚未見於現有資料,目前能確認的是攻擊面與研究方向,至於實際攻擊有多穩定,仍無法確認。