AlphaXiv 논문 <《2611.weight-space-misfolding》>은 악성 패턴이 모델 가중치에 포함될 수 있으며, 모델을 공유하거나 파생해 사용할 때 함께 전파될 수 있다고 제안한다. Hugging Face 같은 저장소에서 LLM을 다운로드해 변환하고 배포하는 모든 팀이 영향을 받을 수 있는 문제다.
관련 항목은 Hacker News 메인 페이지에 올라 62점과 댓글 30개를 받았다. 주목할 만한 논의였지만, 현재 공개된 요약에는 재현에 필요한 데이터가 충분하지 않다.
원문 자료:
- 논문 주소: https://www.alphaxiv.org/abs/2611.weight-space-misfolding
- Hacker News 댓글: https://news.ycombinator.com/item?id=50487762
모델 가중치로 전염되는 공급망 위험
논문 <《2611.weight-space-misfolding》>의 핵심 주장은 다음과 같다. 악성 패턴이 모델 가중치에 존재할 수 있으며, 모델을 불러오고 공유하고 배포하는 과정에서 전파될 수 있다.
논문에서 다룬 전파 단계는 다음과 같다.
- 모델 가중치가 공개 저장소에 올라간다.
- 사용자가 모델을 다운로드해 불러온다.
- 가중치를 양자화하거나 형식을 변환하거나 병합한다.
- 微調된 모델이 다시 유통 경로에 들어간다.
여기서는 해석에 주의해야 한다.
논문 제목과 요약은 연구 방향과 안전 주장을 제시할 뿐, Hugging Face 같은 플랫폼에서 대규모 공격이 이미 발생했다는 사실을 증명하지는 않는다. 현재 보도된 요약에는 감염률, 공격 성공률, 실험에 사용한 모델 규모, 구체적인 악성 페이로드가 제시되지 않았다.
따라서 정확한 표현은 '모델 바이러스가 모델 저장소를 휩쓸고 있다'가 아니라 '지금까지 과소평가돼 온 공급망 공격 경로를 점검해야 한다'이다.
가중치는 일반적인 데이터 파일이 아니다
기존 소프트웨어 공급망에서 악성 코드는 보통 소스 코드, 빌드 스크립트, 의존성 패키지 또는 빌드 결과물에 숨어 있다. 스캐너는 이러한 파일을 프로그램으로 검사한다.
학습 데이터는 situation이 다르다. 텍스트, 이미지, 오디오는 일반적으로 인터프리터 없이는 직접 실행되지 않는다. 모델 가중치는 더 복잡하다.
가중치는 행렬 연산을 통해 출력에 영향을 준다. 악성 패턴은 매개변수에 인코딩되어 특정 입력이 입력되면 활성화될 수 있다. 微調와 병합 과정도 파생 모델에 영향을 줄 수 있다.
공격 체인은 다음과 같이 단순화할 수 있다.
악성 패턴이 가중치에 삽입됨
↓
모델 또는 파생 가중치를 업로드하고 공유함
↓
다운로더가 모델을 불러옴
↓
특정 입력이異常한 행동을 활성화함
↓
활성화된 모델이 계속 생성하거나 파생 가중치를 배포함
트리거 조건은 반드시 눈에 띄지 않는다. 공격자는 고정 token, 특정 의미, 특이한 인코딩 형식, 또는 모델이 수행해서는 안 되는 작업을 요구할 수 있다.
악성 npm 패키지와도 차이가 있다. 악성 패키지는 설치 스크립트를 실행하거나 파일을 변경하거나 외부 서버에 연결하는 경우가 많다. 반면 악성 가중치는 대개 더 깊이 숨어 있다. 모델은 정상적으로 로드되고 일반적인 질문에도 정상적으로 답하지만 목표 입력을 받아야 비로소 동작한다.
따라서 API 출력만 관찰해서는 가중치 오염 여부를 판단하기 어렵다.
모델 저장소가 전파 경로가 될 수 있다
일반적인 모델 작업 흐름은 다음과 같다.
- 모델 저장소에서 베이스 가중치를 다운로드한다.
- 파일의 무결성을 확인한다.
safetensors, PyTorch 또는 다른 형식으로 불러온다.- 양자화하거나 LoRA를 병합하거나 전체 파라미터를 微調한다.
- 새 모델을 내보낸다.
- 내부 artifact 저장소나 공개 저장소에 push한다.
- vLLM, Transformers 같은 런타임으로 배포한다.
이 과정에서 어느 단계든 전파 지점이 될 수 있다. 특히 4단계와 5단계가 중요하다.
LoRA 병합은 adapter 파라미터를 베이스 모델에 다시 기록한다. 전체 微調는 대량의 파라미터를 갱신한다. 모델 병합은 여러 모델의 파라미터를 결합해 새 버전을 만들 수도 있다. 이 과정을 거치면 새 가중치는 어떤 원본 파일과도 같지 않다.
여기에는 두 가지 문제가 생긴다.
첫째, 원래 저장소를 검사한 결과만으로는 파생 모델을 포괄하지 못할 수 있다.
둘째, 양자화, 형식 변환, 파라미터 병합은 악성 패턴을 바꿀 수도 있고 트리거 조건을 이동시킬 수도 있다. 'safetensors로 바꾸면 안전해진다'고 가정하거나 '양자화하면 반드시 후문이 유지된다'고 가정해서는 안 된다. 안전성 판단은 실제 배포에 쓰이는 최종 가중치를 대상으로 해야 한다.
권한 문제도 놓치기 쉽다. 모델 저장소는 보통 파생 모델의 재업로드를 허용한다. 팀의 워크플로에 '모델을 다운로드한 뒤 다시 게시'하는 절차가 포함돼 있다면, 코드 의존성 배포에서 발생하는 신뢰 문제도 그대로 복제된다. 상위 모델이 오염됐다면 파생 버전도 오염될 수 있다.
현재 증거에 부족한 지표
위험의 수준을 판단하려면 최소한 다음 지표를 확인해야 한다.
| 지표 | 재현 실험에서 답해야 할 질문 |
|---|---|
| 감염률 | 공개 모델이나 실험적으로 만든 모델 중 악성 패턴을 포함한 모델은 얼마나 되는가? 표본은 어떻게 선정했는가? |
| 공격 성공률 | 명확한 트리거 조건에서 악성 행동은 몇 번이나 발생했는가? |
| 오탐률 | 정상 모델 중 탐지 도구가 잘못 판정한 비율은 얼마인가? |
| 실험 모델 규모 | 어떤 아키텍처, 파라미터 규모, 모델 계열을 테스트했는가? |
| 구체적인 악성 페이로드 | 데이터 탈취, 암호문 출력, 안전하지 않은 코드 생성 또는 그 밖의 행동을 유발했는가? |
| 트리거 조건 | 어떤 입력이 필요한가? 다른 모델로 전이할 수 있는가? |
| 변환 후 생존률 | 양자화, LoRA 병합, 전체 微調, 모델 병합 이후에도 얼마나 많은 악성 패턴이 남는가? |
| 벤치마크 비용 | 모델 하나를 검사하는 데 GPU, 시간, VRAM이 얼마나 필요한가? |
특히 다음 두 개념을 구분해야 한다.
- 가중치에 비정상적인 패턴이 존재한다.
- 비정상적인 패턴이 실제 작업에서 안정적으로 악성 행동을 유발한다.
전자는 탐지 신호이고, 후자는 공격 결과다. 논문이 파라미터 이상, 시각화 결과 또는 소수의 샘플만 보여준다면 실제 공격 범위를 추정하기에는 부족하다.
현재는 출처를 알 수 없는 '악성 모델 탐지기'를 다운로드할 필요가 없다. 그 도구 자체가 새로운 공급망 진입점이 될 수 있다.
코드에서 가중치까지 안전 감사 확장하기
현실적인 접근법은 모델을 서명과 추적 가능한 소프트웨어 artifact로 취급하는 것이다.
1. 모델 출처 고정하기
운영에 쓰이는 모델마다 allowlist를 만들고 저장소, revision, 파일 목록, 변환 절차를 기록한다. main 브랜치나 최신 버전만 기록해서는 안 된다.
Hugging Face 저장소에서는 변경 가능한 기본 브랜치를 따라가지 않고 revision 해시로 커밋을 고정할 수 있다.
2. 해시와 형식 확인하기
다운로드한 파일의 SHA-256을 계산해 신뢰할 수 있는 목록과 비교한다. safetensors는 역직렬화 과정에서 코드가 실행될 위험을 줄이지만, 모델 행동이 무해하다는 것을 증명하지는 않는다.
먼저 표준 라이브러리로 해시를 계산할 수 있다.
from hashlib import sha256
from pathlib import Path
def sha256_file(path: str) -> str:
digest = sha256()
with Path(path).open("rb") as file:
for chunk in iter(lambda: file.read(1024 * 1024), b""):
digest.update(chunk)
return digest.hexdigest()
print(sha256_file("model.safetensors"))
이 코드는 파일이 예상한 것과 일치하는지만 확인한다. 후문이 없다는 것을 증명하지는 않는다. 두 검증은 별도로 수행해야 한다.
3. 추론 환경 격리하기
모델을 실행할 때는 읽기 전용 파일 시스템을 사용하고 네트워크 아웃바운드를 제한하며 필요 없는 도구 호출 권한을 끈다.
특히 AI Agent 환경에서는 중요하다. 모델이 데이터를 읽는 동시에 shell, 브라우저, 데이터베이스를 호출할 수 있다면, 가중치에 삽입된 트리거 행동이 비정상 출력에 그치지 않고 실제 작업으로 확장될 수 있다.
모델이 기본적으로 운영 credential에 접근하도록 두지 않아야 한다.
4. 원본 모델과 후보 가중치 비교하기
베이스 모델, LoRA 병합 버전, 양자화 버전, 최종 배포 버전에 각각 고정된 regression set과 트리거 테스트를 실행한다. 다음 항목을 중점적으로 비교한다.
- 일반 작업의 출력 분포
- 안전 작업에서의拒答율
- 특수 token, 인코딩, 긴 context에서의 행동
- 도구 호출 파라미터에 비정상 값이 나타나는지 여부
- 같은 입력으로 여러 번 실행했을 때의 안정성
딱 한 가지만 해야 한다면 모델 버전, 해시, 변환 명령, 평가 결과를 보관해야 한다. 이런 기록이 없으면 사고가 발생했을 때 '오염이 어디에서 시작됐는가'라는 질문에 답하기 어렵다.
편집자 관점
경계해야 할 대상은 특정 악성 모델 하나만이 아니다. 가중치가 실행 가능한 dependency처럼 대량으로 유통되는 현실이다. 코드 패키지에 CVE가 발견되면 새 버전으로 업데이트할 수 있지만, 모델 가중치는 복제되고 이름이 바뀌며 양자화되고 병합된 뒤 새로운 저장소로 들어간다. 조직이 과거에 package, image, endpoint를 중심으로 만들어 온 보안 경계는 이제 매개변수 파일을 놓치고 있다.
모델 저장소에도 언젠가는 소프트웨어 패키지 서명, 버전별 감사, 재현 가능한 빌드와 같은 장치가 필요할 것이다. 기존 솔루션을 그대로 적용할 수는 없지만, 그 개념을 빌릴 수 있다. 서명은 출처를 검증하고, SBOM은 의존성을 관리하며, 행동 평가는 최종 artifact를 검사한다.
이번 변화는 공격 면이 '코드가 무엇을 실행하는지'에서 '매개변수가 어떻게 반응하는지'로 확장됐다는 점이다. 그런데 이 영역에는 아직 성숙한 업계 합의가 없다.
불확실성도 분명하다. 요약에는 감염률, 공격 성공률, 구체적인 페이로드가 빠져 있다. 이를 근거로 공격이 이미 대규모로 발생했다고 단정할 수는 없다. 다만 저장소가 실제로 오염된 뒤에야 절차를 바꾸는 대신, 검증이 필요한 고위험 가정으로 다루어야 한다.