觀點

OpenAI 如何防範對抗性蒸餾:從模型竊取到跨請求追蹤

OpenAI 拆解對抗性蒸餾的攻擊鏈:駭客如何透過誘導請求提取模型行為,以及辨識、阻擾與追蹤三層防線將如何影響 API 開發者。

字級

OpenAI 發表《Combatting Adversarial Distillation》,解析攻擊者如何誘導閉源模型產生特定行為,再將這些能力轉移至其他模型。本文從攻防角度分析這套防禦方案,以及它對 API 使用者的實際影響。

原始資料:

對抗性蒸餾並不等同於一般模型複製

一般知識蒸餾的目標,是讓小型模型模仿大型模型在某項任務上的表現。教師模型提供答案,學生模型則學習答案,或學習輸入與輸出之間的對應關係。

對抗性蒸餾則多了一層。攻擊者會設計請求,讓教師模型顯露出一種可被轉移的行為。

一般蒸餾:
教師模型 -> 正確答案或任務能力 -> 學生模型

對抗性蒸餾:
惡意請求 -> 帶有誘餌的模型行為 -> 轉移至其他模型

這個誘餌可能是特定的推理習慣、回答結構、風格偏好,或是圍繞某個目標任務形成的異常能力。

傳統品質評測未必能察覺它。單次呼叫看起來只是正常回答;只有把多次呼叫放在一起,才可能看出完整鏈路。

因此,OpenAI 將其單獨列為安全風險。對抗性蒸餾會利用特定請求誘導模型產生目標行為,並可能將相關能力或輸出轉移至其他模型,與一般知識蒸餾並不相同。

簡單來說,一般蒸餾主要複製「答案」;對抗性蒸餾還想複製「模型被特定問題觸發後所產生的行為」。

攻擊者如何為模型埋下誘餌

公開資料所展示的執行鏈,可拆成三個步驟:誘導回應、轉移能力、規避偵測。

第一步是構造請求。攻擊者調整提示詞、任務格式、上下文內容或呼叫模式,讓教師模型持續輸出目標行為。

這裡有個容易遭忽略的變數:API 呼叫端通常不只控制一句 prompt。

它也能控制:

  • 請求頻率與並行數量;
  • 每次輸入的結構與長度;
  • 系統訊息與開發者訊息;
  • tool 或 schema 的定義方式;
  • 不同工作階段之間的上下文組織;
  • 輸出取樣參數;
  • 失敗、重試與錯誤回應的處理方式。

如果攻擊者將一次能力提取拆解成大量正常請求,再統整處理結果,單一內容過濾器很難看出完整鏈路。

第二步是轉移。攻擊者蒐集輸出,再用這些資料訓練、提示或約束另一個模型,讓目標行為出現在新模型上。

難點在於,轉移結果不必與教師模型完全一致。攻擊者可能只保留核心能力,同時丟棄容易辨識的語言風格,進一步壓縮防守方的特徵空間。

第三步是規避偵測。攻擊者可以改變請求分布,減少重複模式;也可以混入正常業務流量,讓批次呼叫看起來像真實應用程式。

因此,OpenAI 並未只談「偵測惡意 prompt」,而是將問題描述為由辨識、阻擾與追蹤組成的防禦路線。攻擊者能控制的變數,本來就不限於輸入文字。

OpenAI 的防線不只依靠攔截輸入

關鍵字過濾器適合處理公開且重複的攻擊模式,例如請求長期圍繞同一組敏感能力,或輸出格式明顯是為批次提取而設計。

但它很難處理低頻、分散且經過轉換的提取過程。

OpenAI 的因應策略可分為三層。

辨識異常使用

第一層不是判斷某句話是否具有惡意,而是觀察一組呼叫是否偏離正常分布。

例如:

  • 輸入高度結構化,但與業務目標不一致;
  • 請求數量龐大,輸出卻只用於單一訓練流程;
  • 多輪請求反覆測試模型的隱藏邊界;
  • 某個帳號的呼叫模式很像在搜尋可轉移能力;
  • 大量流量遭到重試、彙整或批次轉存。

這類判斷需要同時分析帳號、呼叫模式、任務分布與行為結果。若只看內容,訊號不夠。

阻擾蒸餾結果

第二層更為主動。即使暫時無法證明呼叫方正在盜用模型,也能讓蒸餾結果變得不穩定。

防守方可以改變取樣方式、加入針對性擾動,或調整部分輸出,使批次提取者取得的資料無法直接重現目標能力。此舉會降低提取效率,但也可能為正常呼叫帶來一定程度的誤報與額外成本。

這也是防禦措施最難拿捏的地方。阻擾越強,正常用戶感受到的延遲與輸出波動可能越大;阻擾太弱,攻擊者只要增加呼叫量,仍能繞過防線。

追蹤濫用來源

第三層是追蹤。即使無法立即阻止攻擊,也要保有定位來源的的能力。

萬一發生攻擊,防守方可以沿著呼叫日誌、帳號關聯、請求模式與輸出指紋進行回溯,判斷是單一帳號遭到濫用,還是一組帳號協同操作;使用的是哪一類代理服務;以及資料最終流向何處。

三者必須互相搭配:

辨識:找出偏離正常分布的呼叫群
阻擾:降低攻擊者取得穩定訓練資料的效率
追蹤:確認來源與濫用鏈路

只攔截輸入,攻擊者就會改請求;只檢視單一輸出,攻擊者就會換任務;只封鎖一個帳號,攻擊者就會換身份。

22 則評論揭露真正的爭議

Hacker News 討論頁顯示,這篇文章獲得 22 Points 與 22 則 Comments。

評論中的衝突相當具體。

一方擔心,辨識異常使用、阻擾蒸餾結果與追蹤濫用來源,會不會把研究者與一般開發者也視為盜用者?當模型透過公開 API 提供服務時,自動化測試能力邊界與批次提取行為可能非常接近。

另一方則認為,閉源前沿模型的訓練成本很高。如果複製能力幾乎沒有阻力,模型提供方便難以回收投入。企業級防護也不能只依賴「大家自覺不抓取」。

開發者也提出了開放研究的問題。如果安全系統將多輪實驗、批次 API 呼叫或特定能力探測一律視為異常,那麼漏洞重現、模型評測與系統研究都會受到影響。

這場爭議沒有免費的答案。

對模型提供方而言,降低誤報意味著需要更精細的行為建模。對研究者而言,規則必須透明且可申訴,最好還能得知觸發原因。對攻擊者而言,每增加一層判斷,就會提高成本。

編輯觀察

對抗性蒸餾的重要性,不在於模型盜用方式又多了一種,而在於它會改變閉源模型 API 的成本結構。過去的安全治理多聚焦於單次請求,例如過濾內容、限制頻率與審查帳號。現在,防守方需要觀察跨請求形成的提取流水線,可能還得保存更多呼叫層級資料,並對輸出加入干擾。

我的判斷是,廠商會先修改存取規則,而不是立即改變模型訓練方法。更細緻的速率限制、並行限制與准入要求會更常見,高價值研究機構與一般小型團隊受到的待遇也會出現差距。這與過去的關鍵字過濾不同:安全的基本單位從單次回答,變成跨帳號、跨工作階段的資料集行為。

但目前仍有一個不確定之處。OpenAI 尚未公開完成一次有效提取需要多少請求、token 與算力。缺乏成本數據,就無法判斷辨識、阻擾與追蹤究竟提高了攻擊門檻,還是主要增加了平台與開發者的負擔。

來源: https://openai.com/index/combatting-adversarial-distillation/