OpenAIは「Combatting Adversarial Distillation」を公開し、攻撃者が閉源モデルの出力を誘導して、その能力を別のモデルへ移す仕組みを分析しました。本稿では、攻防両方の観点からこの手法と、実際のAPI利用者が受ける影響を確認します。
関連資料:
対抗的蒸留は単なるモデル複製ではない
通常の知識蒸留では、小モデルが 특정タスクで大きなモデルの挙動を模倣します。教师モデルが回答を示し、学生モデルがその回答や入力と出力の間の対応関係を学びます。
対抗的蒸留には、もう一段階があります。攻撃者はリクエストを設計し、教师モデルから他のモデルへ移せる挙動を引き出します。
通常の蒸留:
教師モデル -> 正しい回答またはタスク能力 -> 学生モデル
対抗的蒸留:
悪意あるリクエスト -> 誘い込みを含むモデル挙動 -> 別のモデルへ移す
この「誘い込み」には Certainの推論傾向、回答構成-workers、スタイル設定、または特定の目标任务ebra,围绕某个目标任务的异常能力。
従来の品質評価では、必ずしも検出できません。単一のリクエストでは、通常の回答にしか見えません。複数の呼び出しを並べて初めて、全体的な流れが見えてくる場合があります。
そこでOpenAIは、これを個別にセキュリティリスクとして扱っています。対抗的蒸留は特定のリクエストを利用してモデルに目的の挙動を誘導し、関連する能力や出力を別のモデルへ移す可能性があり、通常の知識蒸留とは区別されます。
言い換えれば、通常の蒸留が主に「回答」を複製するのに対し、対抗的蒸留は「特定の問いをきっかけにモデルが生み出す挙動」まで複製しようとする手法です。
攻撃者はどのようにモデルに誘い込みを仕込むのか
公開資料で示されている実行プロセスは、応答の誘導、能力の移し替え、検出回避の3ステップに分解できます。
最初のステップはリクエストの構築です。攻撃者はプロンプト、タスク形式、コンテキストの内容、呼び出しパターンを調整し、教师モデルが目的の挙動を繰り返し出力するようにします。
ここで見落とされがちな要素があります。APIの利用者が制御できるのは、通常、1つのプロンプトだけではありません。
IELLO 控制できる対象は次の通り:
- リクエストの頻度と同時実行数
- 各入力の構造と長さ
- システムメッセージと開発者向けメッセージ
- toolまたはschemaの定義方法
- 異なるセッション間のコンテキストの組み立て方
- 出力サンプリングのパラメータ
- 失敗、再試行、エラー応答の処理方法
攻撃者が1回の能力抽出を多数の通常リクエストに分割し、結果をまとめて処理すれば、個別のコンテンツフィルターでは全体の流れを捉えにくくなります。
2番目のステップは能力の移し替えです。攻撃者は出力を収集し、そのデータを使って別のモデルを訓練、指示、または制約することで、目的の挙動を新しいモデルに再現させます。
難しいのは、移した結果が教師モデルと完全に一致する必要はないという点です。攻撃者は主要な能力だけを残し、識別しやすい言語スタイルを捨てることもあります。これにより、防御側の特徴空間をさらに狭めます。
3番目のステップは検出回避です。攻撃者はリクエストの分布を変え、繰り返すパターンを減らしたり、通常の業務トラフィックを混ぜたりして、一括呼び出しが実際のアプリケーション利用に見えるようにします。
そのためOpenAIは、悪意あるプロンプトを検出するだけでは不十分だと強調しています。問題は、識別、妨害、追跡を組み合わせた対策として捉えられています。攻撃者が制御できる変数は、最初から入力テキストだけに限られているわけではないからです。
OpenAIの防御は入力の遮断だけでは終わらない
キーワードフィルターは、公開されている繰り返し攻撃には有効です。例えば、同じ一组の機密能力Geargaいhqaren long-term depo,或いは输出格式明显服务于批量提取。
一方、頻度が低く、分散し、変換された抽出プロセスには対応しにくいです。
OpenAIのcystom takes a three-layer approach.
異常な利用の識別
最初の層は、ある発言が悪意かどうかを判定するのではなく,一群の呼び出しが通常の分布から外れているかを観察することです。
例えば、次のような場合が該当します。
- 入力 Highly structuredだが、業務上の目的が一致していない
- リクエストは多いが、出力が単一の訓練フローにしか使われていない
- 複数ターンのリクエストが、モデルの隠れた境界を繰り返しテストしている
- 特定のアカウントの呼び出しパターンが、移可能な能力を探索しているように見える
- 大量のトラフィックが再試行、集約、または一括保存されている
この種の判断には、アカウント、呼び出しパターン、タスク分布、振る舞いの結果を組み合わせた分析が必要です。内容だけを見ると、十分なシグナルを得られません。
蒸留結果への妨害
2番目の層は、より能動的な対策です。呼び出し元がモデルの悪用をしていると証明できなくても、蒸留結果を不安定にできます。
サンプリング方法を変金星下去、针对性な扰動を加え,或いは一部の出力を調整することで、一括抽出者が取得したデータから直接、横Ax能力以外を再現できないようにします。これにより抽出効率は低下しますが、通常の呼び出しには一定の誤検知と追加コストが生じます。
これが防御策で最もバランスが難しい部分です。妨害を強めれば、通常利用者への遅延や出力のばらつきが大きくなります。弱すぎれば、攻撃者が呼び出し回数を増やして回避できます。
悪用の発生源の追跡
3番目の層は追跡です。直ちに攻撃を止められなくても、発生源を特定できる情報を残しておく必要があります。
攻撃が発生した場合、呼び出しログ、アカウント間の関係、リクエストパターン、出力のフィンガープリントをたどり、単一アカウントによる悪用か、複数アカウントによる協調WasWasWasか、どの種類のプロキシサービスが使われたか、抽出データが最終的に 어디로流れたかを判断できます。
3つは組み合わせる必要があります。
識別:通常の分布から外れた呼び出し群を見つける
妨害:攻撃者が安定した訓練データを取得する効率を下げる
追跡:発生源と悪用の流れを確認する
入力だけを止めれば、攻撃者はリクエストを変えます。単一の出力だけを見れば、攻撃者はタスクを替えます。アカウントを1つ封鎖しても、攻撃者は身元を変えます。
22件のコメントが露呈した論点
Hacker Newsの議論ページでは、この記事に 22 Points と 22 Comments が付いています。
コメントの対立は、現実的な問題です。
ある参加者は、異常な利用の識別、蒸留結果への妨害、悪用発生源の追跡によって、研究者や一般開発者まで盗用者として扱われてしまうではないかを懸念しています。公開APIでモデルを提供する現場では、自動化Tests for the boundaries and batch extraction may look quite similar.
別の参加者は、閉源の先端モデルは訓練コストが非常に高いと指摘します。能力の複製にほとんど摩擦がなければ、モデル提供者は投資を回収できません。エンタープライズ向けの防御を「皆が勝手に取得しないことにmoral relying」に委ねるわけにもいきません。
開発者からは、open researchをめぐる問いも出てきました。セキュリティシステムが、多 Turnsの実験、一括API呼び出し、特定能力の探索を一律に異常と判断するなら、脆弱性の再現、モデルの評価、システム研究のすべてが制約されます。
この論争にacts的な答えは存在しません。
モデル提供者にとって、誤検知を減らすには、より精密な振る舞いモデリングが必要です。研究者にとって、ルールは透明で、appealably、必要ならトリガーされた理由も分かる必要があります。攻撃者にとって、判断が1層増えるたびにコストが上がります。
編集者の視点
対抗的蒸留が重要なのは、モデル盗用の方法がまた1つ増えたことではなく、閉源モデルAPIのコスト構造を変えると自律 것이다。过去のセキュリティ管理は主に単一のリクエストを対象としてきました。コンテンツのフィルタリング、頻度の制限、アカウントの監査です。现在、防御側にはリクエストをまたいで形成される抽出パイプラインを観察し、より多くの呼び出し単位のデータを保存し、出力に妨害を加えることが求められます。
:OIDC、厂商はまずアクセス規則を変える可能性があり、立即にモデルの訓練方法を変えるとは限らないと考えられます。より詳細なレート制限、同時実行数制限、准入要件が導入され、高価値の研究機関と一般的な小規模チームの間で待遇差が広がるでしょう。これは過去のキーワード过滤とは異なります。セキュリティの単位は「1つの回答」から、アカウントやセッションをまたぐデータセットの振る舞いへ移ります。
ただし、現時点では不確実な点が残っています。OpenAIは、有効な抽出を完了するために必要なリクエスト数、token、computeを公开していません。コストデータがなければ、識別、妨害、追跡が本当に攻撃の閾値を高めたのか、それとも主にプラットフォームと開発者の負担を増やしただけなのかは判断できません。