OpenAI는 《Combatting Adversarial Distillation》를 공개하며, 공격자가 유도 요청으로 폐쇄형 모델의 목표 행동을 추출한 뒤 다른 모델로 옮기는 방식을 분석했다. 이 글에서는 공격과 방어의 관점에서 해당 전략을 살펴보고, API 사용자에게 미칠 실제 영향을 살펴본다.
원문 자료:
적대적 Knowledge Distillation은 일반적인 모델 복제가 아니다
일반적인 Knowledge Distillation의 목표는 작은 모델이 특정 과제에서 큰 모델을 흉내 내도록 하는 것이다. 교사 모델이 답을 제시하면 학생 모델이 정답이나 입력과 출력 사이의 대응 관계를 학습한다.
적대적 Knowledge Distillation에는 한 단계가 더 있다. 공격자는 교사 모델이 다른 모델로 옮길 수 있는 행동을 드러내도록 요청을 설계한다.
일반적인 Knowledge Distillation:
교사 모델 -> 정답 또는 과제 능력 -> 학생 모델
적대적 Knowledge Distillation:
악성 요청 -> 미끼가 포함된 모델 행동 -> 다른 모델로 이전
이 미끼는 특정 추론 습관, 답변 구조, 스타일 선호, 또는 목표 과제를 둘러싼 특이한 능력일 수 있다.
traditional적인 품질 평가로는 반드시 발견되지 않는다. 단 한 번의 호출은 그저 정상적인 답변처럼 보인다. 여러 호출을 함께 검토해야 전체 흐름을 파악할 수 있다.
이에 OpenAI는 이를 별도의 보안 위험으로 분류했다. 적대적 Knowledge Distillation은 특정 요청으로 모델이 목표 행동을 생성하도록 유도하고, 관련 능력이나 출력을 다른 모델로 이전할 수 있다는 점에서 일반적인 Knowledge Distillation과 다르다.
다시 말해, 일반적인 Knowledge Distillation은 주로 ‘정답’을 복제한다. 적대적 Knowledge Distillation은 ‘특정 질문에 반응해 모델이 생성하는 행동’까지 복제하려 한다.
공격자는 어떻게 모델에 미끼를 심는가
공개된 자료에 나타난 실행 과정은 유도 응답, 능력 이전, 탐지 우회의 세 단계로 나눌 수 있다.
첫 번째 단계는 요청 설계다. 공격자는 prompt, 과제 형식, 맥락 내용, 호출 방식을 조정해 교사 모델이 목표 행동을 계속 생성하도록 만든다.
여기서容易被 놓치는 변수가 있다. API 호출자는 보통 prompt 한 문장만 통제하는 것이 아니다.
다음 항목도 통제할 수 있다.
- 요청 빈도와 동시 호출량
- 각 입력의 구조와 길이
- system message와 developer message
- tool 또는 schema 정의 방식
- 세션 간 맥락 구성 방식
- output sampling parameter
- 실패, 재시도, 오류 응답 처리 방식
공격자가 한 번의 능력 추출을 대량의 정상 요청으로 나눈 뒤 결과를 일괄 처리한다면, 단일 콘텐츠 필터만으로는 전체 흐름을 파악하기 어렵다.
두 번째 단계는 능력 이전이다. 공격자는 출력을 수집한 뒤 해당 데이터로 다른 모델을 학습시키거나 prompt와 제약 조건을 부여해, 목표 행동이 새 모델에서도 나타나도록 만든다.
어려운 점은 이전된 결과가 교사 모델과 완전히 같을 필요가 없다는 것이다. 공격자는 핵심 능력만 남기고 식별하기 쉬운 언어 스타일을 버릴 수 있다. 이는 방어 측이 분석할 수 있는 특징 공간을 더욱 좁힌다.
세 번째 단계는 탐지 우회다. 공격자는 요청 분포를 바꿔 반복 패턴을 줄이거나 정상적인 업무 트래픽을 섞어 대량 호출이 실제 애플리케이션처럼 보이도록 만들 수 있다.
그래서 OpenAI의 접근은 ‘악성 prompt 탐지’만의 문제로 접근하지 않는다. 이 문제는 식별, 방해, 추적을 결합한 대응 체계로 제시된다. 공격자가 통제할 수 있는 변수는 본래 입력 텍스트만을 넘어서기 때문이다.
OpenAI의 방어는 입력 차단에만 의존하지 않는다
키워드 필터는 공개적이고 반복되는 공격 패턴을 처리하는 데 적합하다. 예를 들어 요청이 한정된 민감 능력만을 장기간 반복하거나 출력 형식이 대량 추출에 unmistakably하게 부합하는 경우다.
하지만 빈도가 낮고 분산되며 변환된 추출 과정을 처리하기는 어렵다.
OpenAI의 대응 전략은 세 층위로 나뉜다.
이상 징후 식별
첫 번째 층위는 문장 하나의 악성 여부를 판단하는 대신,一组의 호출이 정상적인 분포에서 벗어나는지를 관찰한다.
예를 들면 다음과 같다.
- 입력은 지나치게 구조적인데 업무 목적은 서로 일치하지 않음
- 요청은 매우 많지만 출력은 하나의 학습 과정에만 사용됨
- 다단계 요청이 모델의 숨은 경계를 반복해서 시험함
- 어떤 계정의 호출 패턴이 이전 가능한 능력을 탐색하는 형태와 유사함
- 대량 트래픽이 재시도되거나 집계되거나 일괄 저장됨
이러한 판단에는 계정, 호출 패턴, 과제 분포, 행동 결과를 함께 분석해야 한다. 콘텐츠만 보면 신호가 부족하다.
Knowledge Distillation 결과 방해
두 번째 층위는 보다 능동적이다. 호출자가 모델을 무단으로 사용 중이라고 당장 입증할 수 없더라도, Knowledge Distillation 결과가 불안정하도록 만들 수 있다.
sampling 방식을 변경하거나 표적 perturbations를 추가하거나 일부 출력을 조정해, 대량 추출자가 확보한 데이터로 목표 능력을 바로 재현하지 못하게 할 수 있다. 이러한 방법은 추출 효율을 낮추지만 정상 호출에도 일정 수준의 오탐과 추가 비용을 발생시킨다.
이것이 방어 측에서 가장 균형이 어려운 지점이다. 방해가 강할수록 정상 사용자의 latency와 출력 편차가 커질 수 있고, 방해가 약할수록 공격자가 호출량을 늘려 다시 우회할 수 있다.
악용 행위의 출처 추적
세 번째 층위는 추적이다. 공격을 즉시 차단하지 못하더라도 출처를 특정할 수 있는 단서를 남겨야 한다.
공격이 발생하면 호출 로그, 계정 관계, 요청 패턴, 출력 fingerprint를 따라 역추적할 수 있다. 단일 계정의 악용인지 여러 계정의 협력인지, 어떤 유형의 proxy service를 사용했는지, 데이터가 최종적으로 어디로 흘러갔는지를 판단한다.
세 가지는 반드시 결합해야 한다.
식별: 정상 분포에서 벗어난 호출 집합을 찾아냄
방해: 공격자가 안정적인 학습 데이터를 확보하는 효율을 낮춤
추적: 출처와 악용 경로를 확인함
입력만 차단하면 공격자는 요청을 바꾼다. 개별 출력만 보면 공격자는 과제를 바꾼다. 계정 하나만封하면 공격자는 신원을 바꾼다.
22개 댓글에서 드러난 핵심 쟁점
Hacker News 토론 페이지에는 이 글이 22 Points와 22条 Comments를 모았다.
댓글에서 벌어진 논쟁은 매우 현실적인 문제에 관한 것이다.
한쪽은 이런 가능성을 우려한다. 이상 징후 식별, Knowledge Distillation 결과 방해, 악용 출처 추적이 연구자와 일반 개발자까지 무단 사용자로 취급하지는 않을 것인가? 모델이 public API로 제공될 때 자동화된 경계 테스트와 대량 추출 행위는 서로 매우 유사할 수 있기 때문이다.
반대로 다른 쪽은 폐쇄형 최신 모델의 학습 비용이 매우 높다는 점을Compile한다. 능력 복제가 거의 방해 없이 가능하다면 모델 제공자는 투자를 회수하기 어렵다. 기업용 보안 또한 ‘모두가 스스로 크롤링하지 않는다’는 인식에만 의존할 수는 없다.
개발자들은 별도로 열린 연구의 문제점을 제기했다. 보안 시스템이 다단계 실험, 대량 API 호출, 특정 능력 탐색을 일괄적으로 이상 징후로 판단한다면 취약점 재현, 모델 평가, 시스템 연구를 모두 방해할 수 있다.
이 논쟁에 쉬운 답은 없다.
모델 제공자에게는 오탐 감소가 더 정밀한 행동 모델링을 뜻한다. 연구자에게는 규칙의 투명성과 이의 제기 절차, 가능하면 트리거된 이유까지 공개하는 것이 필요하다. 공격자에게는 방어 단계가 늘어날수록 비용이 증가한다.
편집자 관점
적대적 Knowledge Distillation이 중요한 이유는 또 하나의 모델 도용 방식이 추가되었기 때문만이 아니다. 폐쇄형 모델 API의 비용 구조를 바꿀 수 있기 때문이다. 과거의 보안 관리는 대부분 단일 요청을 중심으로 이루어졌다. 콘텐츠 필터링, 빈도 제한, 계정 심사가 그 중심이었다. 이제 방어 측은 여러 요청을 걸쳐 형성되는 추출 파이프라인을 관찰하고, 더 많은 호출 단위 데이터를 보관하며, 출력에 방해 요소를 삽입해야 할 수 있다.
제 판단으로는 업체는 모델 학습 방식을 즉시 바꾸기보다 접근 규칙을 먼저 수정할 가능성이 크다. 더 세밀한 속도 제한, 동시 호출 제한, 접근 요건이 확산되고, 고부가 가치 연구기관과 일반 소규모 팀 사이의待遇 차이가 커질 수 있다. 이는 과거의 키워드 필터링과는 다르다. 보안의 관리 단위가 한 번의 답변에서 여러 계정과 세션을 아우르는 데이터셋의 행동으로 이동한다는 뜻이다.
다만 현재도 확실하지 않은 점이 남아 있다. OpenAI는 한 번의 효과적인 능력 추출에 필요한 요청, token, compute의 양을 공개하지 않았다. 비용 데이터가 없으면 식별, 방해, 추적 조치가 공격의 진입 장벽을 실제로 높였는지, 아니면 주로 플랫폼과 개발자의 부담만 늘렸는지 판단하기 어렵다.