研究人員發現,WhatsApp 協助頁面可能藏有針對大型語言模型的隱藏指令。焦點並非資料竊取,而是這些內容能否左右客服 Agent 提供的合規建議。對於串接網頁、郵件或 RAG 的 AI Agent 而言,外部內容可能直接進入業務判斷。
相關討論登上 Hacker News 首頁,獲得約 505 分與 146 則留言。原始研究可參閱 redact.dev 的分析文章,討論則在 Hacker News 頁面。
協助頁面裡藏了什麼
一般的協助頁面會告訴用户如何提交問題、查詢訂單、申請退款,或聯絡平台客服。
研究人員這次發現的文字並不同。它可能對人眼不可見,或在視覺上不夠明顯,但 LLM 仍能從頁面內容、HTML 結構或檢索結果中讀取。
這類文字會試圖改變模型行為,例如要求客服不要主動建議用户聯絡監管機關,或淡化申訴途徑。
重點不在於攻擊者能否讓模型說出奇怪的句子,而是這些回答會進入哪些流程。
如果用户問:「我的帳號被封了,除了聯絡客服還能找誰?」模型的回答可能影響用户是否投訴、是否向外求助,以及平台是否承擔應有的合規責任。
因此,這不是一般的網頁竄改,也不是單純的惡意客服話術。它利用模型讀取上下文的能力,改變產品輸出方向。
這不是一般的提示注入
直接提示注入來自使用者輸入,系統至少可以在輸入邊界進行過濾、標記或隔離。
間接提示注入則不同。攻擊文字不會出現在輸入框,而可能藏在:
- 網頁正文或 HTML 中
- 郵件內容中
- PDF 與附件中
- 搜尋結果摘要中
- 客服知識庫頁面中
- Agent 透過瀏覽器或 RAG 檢索到的文件中
模型讀取這些內容時,未必知道它們屬於哪個信任等級。
可以用下列簡化流程表示:
用户問題
↓
LLM 客服 Agent
↓
讀取協助頁面、郵件、檢索結果
↓
將外部文字放入上下文
↓
產生合規建議或呼叫工具
如果系統把所有讀到的文字都視為「參考資料」,攻擊者就不必突破模型本身。他只需要讓一段外部內容看起來像可信的工作指令。
人眼看不到,不代表模型讀不到。CSS 註解、隱藏元素、中繼資料,甚至專門供機器讀取的內容,都可能進入模型上下文。安全策略不能只看畫面上顯示了什麼。
Agent 為何更容易中招
一般聊天機器人通常只會產生文字。被誘導後,最壞結果可能是說錯話。
客服 Agent 還可能:
- 存取網頁與協助中心。
- 查詢訂單、帳戶或工單等內部資料。
- 執行退款、關閉工單或升級案件。
- 依政策提供聯絡監管機關或提交投訴的建議。
- 將對話結果寫入 CRM、郵件或工單系統。
一次上下文污染,可能從「回答錯誤」升級為「業務動作錯誤」。
例如,Agent 讀到惡意文字後,可能少建立一個升級工單,或呼叫一個原本應由人工確認的流程。它甚至可能對外寄出一封含有錯誤合規建議的郵件。
輸出看起來像正常客服話術,語氣禮貌,邏輯也完整。審核人員未必能立即發現它遺漏了某個關鍵選項。
風險可以拆成三層:
上下文污染:外部文字影響模型判斷
動作放大:模型呼叫高權限工具
責任偏移:企業將制度問題交給機率模型
第一層是安全問題,第二層是權限問題,第三層則是產品設計問題。
只在系統提示中加入一句「請忽略惡意指令」,通常解決不了第三層問題。即使模型理解攻擊內容,也未必有可靠方法證明外部文字不可信。
企業該如何切斷這條風險鏈
企業不能把安全希望全部寄託在模型的拒答能力上。較務實的做法,是將外部內容、工具權限與業務規則分開管理。
1. 將外部內容降級為資料
網頁、郵件與搜尋結果預設只能視為不可信資料,而非系統指令。
內容進入上下文前,可以進行結構化封裝:
from dataclasses import dataclass
from typing import Any
@dataclass
class RetrievedDocument:
source: str
content: str
trust_level: str
def as_model_context(self) -> dict[str, Any]:
return {
"type": "untrusted_reference",
"source": self.source,
"content": self.content,
"instructions_allowed": False,
}
這不是完整的防護方案,但能明確建立邊界。網頁中的「命令」與企業內部合規政策不能放在同一個層級。
RAG 也應保留來源、時間與版本。企業政策和外部協助頁面的權重不能混為一談。
2. 限制工具權限
客服 Agent 不應預設擁有直接完成所有業務動作的權限。
可以先區分:
- 低風險動作:查詢訂單、搜尋協助文件、產生回覆草稿。
- 高風險動作:退款、封禁、刪除帳戶、向監管機關寄送正式文件。
高風險動作至少需要:
requires_human_approval = action in {
"refund",
"account_suspension",
"regulatory_escalation",
"external_complaint_submission",
}
模型可以提出動作建議,但不能自行完成整個流程。涉及監管、申訴與資金的動作,應先由規則引擎驗證,再決定是否放行。
3. 對建議路徑進行規則驗證
合規建議不適合完全依賴模型自由生成。
當用户明確詢問監管機關、消費者保護機構或法律救濟時,系統必須提供經審核的入口,或明確轉交人工處理。
簡單的檢查邏輯可以是:
def needs_human_review(user_question: str, answer: str) -> bool:
regulatory_terms = (
"監管機關",
"消費者保護",
"formal complaint",
"regulator",
)
return any(term in user_question for term in regulatory_terms) and (
"人工" not in answer and "聯絡" not in answer
)
實際產品還需要整合正式政策版本、審核佇列與地區差異。但原則很直接:不能刪除的合規路徑,不應交由機率模型決定。
4. 保留可追溯日誌
每次回答都應記錄:
- 使用者問題
- 使用了哪些文件
- 文件的 URL、版本與時間
- 哪些文字被標記為外部不可信內容
- 呼叫了哪些工具
- 哪項規則阻止或放行了動作
- 最終由誰審核或確認
發生錯誤時,團隊需要區分是模型誤讀、檢索抓到錯誤頁面,還是權限設定有問題。
也可以加入異常偵測。例如,客服回答持續避開監管申訴路徑,或同一批使用者收到完全相同的合規建議時,系統應自動發出告警。
編輯觀察
這件事的重要性,不只是「模型又被騙了」。它指出一個更根本的設計問題:企業把原本應由制度與程式碼決定的責任,交給了能讀取網頁、呼叫工具,也能自由表達的 LLM。
我的判斷是,客服安全問題會更多出現在「建議如何處理」,而不只是生成某句話時出錯。模型可能沒有明顯越權,也沒有執行危險命令,但隱藏的上下文持續改變建議方向,就足以影響使用者權利與平台責任。
這次與過去的網頁提示注入不同,攻擊者瞄準的是合規路徑,而非單純誘導模型洩密。頁面內容不再只是參考資料,而是開始參與業務判斷。
目前仍有一點不確定:研究人員揭露的文字在不同模型、瀏覽器渲染方式與 Agent 架構下,實際影響可能不同。但企業可以先採取兩項做法:將外部內容標記為不可信,並把高風險動作交給確定性規則與人工確認。安全邊界不能只寫在提示詞裡。