실전

ChatGPT가 '뉴요커' 만화를 위조하면서, 실제 만화가 서명까지 그대로 베끼다

스타일 모방은 이제 과거의 이야기다. OpenAI 모델이 실제 창작자의 서명을 AI 생성 이미지에 그대로 옮겨 붙이기 시작했다. '닮았느냐'가 아니라 '소속을 날조하는 행위'가 디폴트가 되어버렸다.

글자 크기

어제 Hacker News 메인에서 관련 기사를 봤는데, 읽고 나니 마음이 무거워졌다.

내용은 이렇다. 누군가 ChatGPT로 「뉴요커」 스타일의 만화를 생성했는데, 나온 이미지 구석에 해당 만화가의 서명이 원본 그대로 박혀 있었다. 정식 원고에 들어 있는 서명과 똑같았다.

이건 단순히 '화풍이 비슷하다'는 차원의 문제가 아니다. 모델이 서명을 인물 얼굴, 선의 굵기 같은 평범한 시각 요소로 취급해서 통째로 학습해버린 것이다.

보도는 하버드 니먼 저널리즘 랩(Nieman Lab)에서 나왔다. 원문 링크: ChatGPT Is Adding Real Cartoonists' Signatures to Fake New Yorker Cartoons.

아래에서 이 사안을 풀어보겠다.

모델이 「스타일」과 「서명」을 함께 학습한다

화풍 모방 자체는 새로운 일이 아니다. Stable Diffusion이 등장했을 때부터 사람들은 이미 농담했다. 모델에 이름만 던지면 '모네풍', '미야자키풍' 이미지를 대량으로 뽑아낸다고.

하지만 이번 사건은 단순한 화풍 모방을 넘어섰다.

「뉴요커」 만화를 가장 강하게 식별하게 만드는 요소는 무엇일까. 빽빽한 해칭과 차가운 인물 비율 말고, 오른쪽 하단의 몇 글자 — 만화가의 서명이 있다. 독자는 이 서명을 보고 Barry Bliss인지 Bob Mankoff인지 구분한다.

사용자가 「뉴요커 스타일로 ○○에 대한 만화를 그려줘」 같은 prompt를 입력하면, 모델은 서명을 「시각적 스타일」의 일부로 보고 함께 그려낸다. 즉 선을 긋는 방식뿐 아니라 「낙관」하는 방식까지 배워버린 셈이다.

기술적으로 보면 이 둘 사이에 본질적 차이는 없다.

기술적으로 왜 이런 일이 벌어지는가: 학습 데이터의 사각지대

이미지 생성 모델의 학습 파이프라인은 대략 이렇다.

# 단순화된 학습 데이터 처리 흐름
def process_training_data(image):
    # 1. 이미지 로드
    img = load(image)
    # 2. 통일된 크기로 resize
    img = resize(img, 512, 512)
    # 3. 무작위 crop 가능
    img = random_crop(img)
    # 4. 모델에 입력
    return img

2번과 3번 단계에 주목하라. 이미지가 resize되고 crop된 뒤, 픽셀 값 묶음으로 네트워크에 들어간다. 모델 입장에서 서명이든 인물 얼굴이든 배경 선이든 모두 동일한 feature 묶음이다.

현재 학습 pipeline에는 「署名(서명)」「워터마크」「저작권 표시」를 따로 분리해내는 단계가 없다. 이유는 단순하다.

  • 서명 detection 자체가 미해결 문제다. 손글씨 서명은 형태가 천차만별이고, OCR 모델은 인쇄된 글자는识别해도 「이게 서명이다」를 파악하는 건 「이 글자가 뭔지」 읽는 것보다 훨씬 어렵다.
  • 분리 작업의 비용 대비 이득 판단이 안 맞는다. 학습팀 입장에서 전용 필터를 한 층 추가한다는 건 라벨링 비용, 연산 비용, 오탐 위험이 추가로 따른다는 뜻이다.
  • 저작권 표시가 필터링 우선순위에서 밀린다. 기존 필터는 주로 NSFW, 정치 민감도, 유명인 얼굴에 집중한다. 「그다지知名하지 않은 만화가의 개인 서명」은 우선순위 리스트에 아예 들어가지 못한다.

결과적으로 서명은 학습 데이터에 조용히 남아 있다가, 평범한 시각 feature처럼 흡수되어 모델이 성실하게 배워버린다.

왜 이 사건이 「AI 화풍 모방」보다 심각한가

2023년부터 예술가들이 Stability AI, Midjourney를 상대로 집단 소송을 제기했다. 핵심 주장은 이렇다. 너희 모델이 내 그림으로 학습됐고, 결과물이 내 스타일과 닮아서 내 시장을 잠식한다.

이 소송들은 아직 결론이 나지 않았다. 하지만 법률적 프레임은 대부분 「스타일 자체는 저작권이 아니지만, 특정 샘플은 침해가 될 수 있다」에 맞춰져 있다.

이번 사건은 성격이 다르다.

저작권법에서 「署作權(right of attribution)」은 독립된 영역이다. 이 권리가 보호하는 건 「타인의 작품에 다른 사람 이름을 붙이는 행위」 그 자체다. 화풍이 닮았는지, 구성이 닮았는지와는 관계없다.

자기 모델이 만든 이미지에 남의 이름을 서명하는 것은 다음과 같은 결과를 만든다.

  • 대중이 원작자가 이 그림을 그렸다고 오해한다.
  • 그 이미지가 확산되면 원작자의 작품 목록 자체가 변형된다.
  • 원작자의 직업적 평판이 해당 이미지 내용과 묶인다.

이건 「스타일 긁기」가 아니라 「소속 날조」다.

OpenAI 콘텐츠 정책에는 적혀 있지만, 실행은 없다

재미있는 건 OpenAI 이용약관에도 이미 그 내용이 적혀 있다는 점이다.

OpenAI Usage Policies에는 이런 조항이 있다 (공식 페이지 기준).

You should not use our services to ... create or distribute content intended to mislead or deceive others about the origin of content, including by representing content as created by a human or other real person when it was not.

번역하면 이렇다. 모델을 사용해 실제 사람이 만든 것처럼 오인되게 만들 콘텐츠를 생성·배포해서는 안 된다.

조항은 명확하다. 그런데 실제 실행은 어떤가.

모델은 생성 과정에서 자기 출력 이미지에 「남의 서명」이 포함되어 있는지 판단하는 메커니즘이 전혀 없다. 출력 단에도, 학습 단에도 없다. 약관은 약관일 뿐이고, 사용자가 생성해서 배포하기 시작해도 OpenAI는 별도로 차단하지 않는다.

이번 사건은 바로 그 정책과 실행 사이의 틈에서 발생했다.

실행 가능한 해법: 서명 분리, 스타일 decoupling, 출처 워터마크

기술적으로 갈 수 있는 방향이 몇 가지 있다. 전부 공상에 그치는 건 아니다.

1. 학습 전에 서명 영역 분리

데이터 클리닝 pipeline에 detector를 추가해 이미지 안의 서명 영역을 표시하고, mask 처리하거나 잘라낸 다음 모델에 넣는다.

from PIL import Image

def strip_signature(image_path):
    img = Image.open(image_path)
    # 우하단 영역 탐지 (서명이 자주 나타나는 위치)
    sig_region = img.crop((img.width * 0.7, img.height * 0.85,
                          img.width, img.height))
    if is_signature(sig_region):
        # 배경색으로 서명 영역 채우기
        img.paste(fill_background(sig_region),
                  (img.width * 0.7, img.height * 0.85,
                   img.width, img.height))
    return img

어려운 점은 서명 위치가 고정돼 있지 않다는 것이다. 어떤 만화가는 선 안에 서명을 숨겨 두고, 어떤 만화가는 워터마크와 섞어 둔다. detector 자체가 독립적인 엔지니어링 문제다.

2. 스타일 전이 시 강제 decoupling

모델이 「스타일」을 「선 + 색 + 구도 + 서명」 같은 독립 차원으로 분해하도록 한다. 사용자가 「선 스타일만 쓰고 서명은 빼줘」처럼 선택할 수 있게 만드는 방식이다.

이 부분은 LoRA 학습과 adapter 파인튜닝에 이미 기술적 토대가 있다. 문제는 「서명」을 분리 가능한 차원으로 정의하는 것 — 현재 latent space에서 이런 요소들은 엉켜 있다.

3. C2PA 출처 워터마크

C2PA(Coalition for Content Provenance and Authenticity)는 콘텐츠 출처 인증 표준이다. 하는 일은 단순하다.

// C2PA 메타데이터 예시
{
  "claim_generator": "OpenAI/DALL-E",
  "assertions": [
    {
      "label": "c2pa.actions",
      "data": {
        "actions": [{
          "action": "c2pa.created",
          "softwareAgent": "DALL-E 3"
        }]
      }
    }
  ]
}

생성된 이미지에 「이건 AI가 만든 것이며, 특정 예술가가 만든 것이 아니다」라는 메타데이터가 함께 박힌다. Adobe, 마이크로소프트, OpenAI 모두 이 표준에 서명했다.

문제는 워터마크가 클라이언트 단에 있다는 점이다. 사용자가 스크린샷을 찍으면 메타데이터가 사라진다. 이건 기술 문제이자, 제품 문제이자, 법률 문제다.

편집자 소견

이 사건에서 가장 경계해야 할 부분은 또다시 누군가의 화풍을 베꼈다는 사실이 아니다.

진짜 문제는 「소속 날조」가低成本 기본값이 되어버렸다는 점이다.

누가投诉하지 않으면 모델은 서명을 찍어낸다. 投诉가 없다는 건 = 대부분 일상 트래픽이라는 뜻이다. 누구나 한 번쯤 모델에게 「○○화가 스타일의 그림 그려줘」라고 시켜봤을 것이다. 그런데 나온 이미지에 서명까지 따라온다는 사실을 인식하는 사람은 거의 없다.

이건 과거의 「AI 화풍 모방」 사건과 본질적으로 다르다. 화풍 모방은 회색 지대고, 서명 복용은 빨간 선이다. 저작권법이 署作權을 독립적으로 보호하기 때문에 이번 사건은 「스타일 긁기」가 아니라 법률적으로 다른 차원의 「소속 날조」다.

다음 단계의 진짜 격전지는 생성 단의 구두 금지가 아니라 학습 데이터 쪽이다.

구체적으로 세 가지가 일어나야 한다.

  • 학습 pipeline에 반드시 서명 detection 단계가 들어가야 한다. 우선순위는 NSFW 필터링 강도를 기준으로 삼으면 된다.
  • C2PA 메타데이터는 옵션이 아니라 기본값이어야 한다.
  • 위반 생성은 사후 추적 가능해야 한다. 한 장의 이미지로부터 어떤 모델, 어떤 API 호출에서 나왔는지 역추적할 수 있어야 한다.

OpenAI 이용약관을 아무리 예쁘게 써도 모델이 조용히 서명을 찍어내는 건 막지 못한다. 기술 계층의 차단은 정책 선언으로 대체할 수 없다.

조금 여지를 남겨두자면, 서명 detection 자체가 완전히 풀리지 않은 미해결 문제다. 손글씨 서명의 다양성이 너무 커서 오탐률도 낮지 않을 수 있다. 모델 벤더들이 이런 비교적 마이너 이슈에 투자를 하려 할지는 별개의 문제다.

다만 로드맵은 분명하다. 이 문제의 대가는 결국 어느 모델 벤더에게 떨어질 것이다.

출처: https://www.niemanlab.org/2026/10/chatgpt-is-adding-real-cartoonists-signatures-to-fake-new-yorker-cartoons/