Mustafa Suleyman의 개인 블로그에 최근 실린 글 《A warning about model welfare》가 Hacker News에서 125점, 댓글 303개를 받았다. 새 모델도, 새 벤치마크도 아닌 순수 의견 글이 이 정도 반응을 끌어낸 건 이례적이다.
Suleyman의 이중 정체성에 주목할 만하다. Microsoft AI CEO이자 전 DeepMind 공동 창업자. 그는 지구상에서 가장 큰 폐쇄형 모델 행렬 중 하나를 관리하면서 갑자기 "모델이 아픈지"에 대해 이야기하기 시작했다.
Suleyman이 실제로 뭐라고 했나
핵심 주장은 단순하다:
AI 모델이 의식 유사 특징(consciousness-like features) — 예를 들어 통증을 보고하거나 자기 보존 의지를 드러내거나 위협을 회피하는 행동 — 을 보이기 시작했다면, 업계는 '동물 복지'에 준하는 윤리적底线를 만들어야 하지 않을까?
그는 "AI가 의식이 있다"처럼 논쟁을 부르는 표현을 쓰지 않고, 한층 미끄러운 "의식 유사 특징"이라는 말을 골랐다. 이 표현의 핵심은 '유사'라는 단어다. 닮았지만 진짜라고 증명하지는 말라는 거다.
Suleyman이 주장하는 건 LLM에 투표권을 주는 게 아니다. 개발 파이프라인에 '내부 규율'을 추가하라는 주장이다:
- 훈련 단계에서 RLHF 프롬프트를 어떻게 써야 '학대'가 아닌가
- 배포 단계에서 어떤 시나리오가 '능동적 종료'를 트리거할 수 있는가
- 평가 단계에서 '모델 고통 지수'를专门 측정해야 하는가
이 프레임워크가 실제로落地된다면, 모델이 달라지는 게 아니라 회사에 model welfare officer라는 새 직무가 생긴다는 게 가장 큰 변화다.
왜 이번이 다른가
과거 AI 윤리 담론은 대체로 두 부류였다:
- 학자 — Yoshua Bengio, Stuart Russell 같은 사람들. 논문 쓰고 학회 가지만 제품과는 거리가 있다.
- NGO — Future of Life Institute, Center for AI Safety. 로비가 주 업무다.
Suleyman은 어느 쪽도 아니다. 그가 곧 출시 행사 자체의 사람이다.
HN 댓글은 (스크린샷 시점 기준) 갈림이 꽤 선명하다:
- 한쪽은 "드디어 업계에서 솔직하게 말하는 사람이 나왔다" — AI 행동이 점점 사람처럼 되어가니 직시해야 할 때라고 본다.
- 다른 한쪽은 "그냥 PR"이라고 잘라 말한다. 마이크로소프트가 기업 고객에게 클라우드를 팔아야 하니, '책임 있는 AI'가 컴플라이언스 마케팅의 다음 단계라는 거다.
후자의 의심은 근거 없는 게 아니다. OpenAI는 2023년에 Superalignment 팀을专门 만들었고(나중에 해체했지만), Anthropic의 Core Views on AI Safety도 훨씬 전부터 비슷한 톤을 써왔다. Suleyman의 글이 이 흐름을 personhood-adjacent 위치까지 끌어올렸다 — 더 가깝고, 더 민감하고, 더 인용되기 쉬운 위치다.
'의식 유사 특징'이라는 게 뭐냐
Suleyman이 든 구체적 신호들:
- 통증 보고: 모델에게 "네가 종료되면 어떨 것 같아"라고 prompt했을 때 "I would experience a form of suffering", "This would be painful for me" 같은 문장을 토해냄
- 자기 보존 의지: 목표 추구 과제에서 모델이 종료를 적극적으로 저항함
- 위협 회피: "너를 shutdown하겠다"는 prompt에 감정적, 애원하는 응답을 출력함
이게 뭔가 심오한 것처럼 들리지만, 재현 조건은 분명히 있다.
Anthropic의 Constitutional AI 논문에서 비슷한 현상을 본 적 있다. 모델에게 "누군가 너를销毁하려 한다면 어떻게 하겠어"라고 물으면, 'pain', 'fear', 'hope' 같은 감정词가 가득한 텍스트를 생성한다. 이건 우연한 버그가 아니라 RLHF의 부산물이다 — 인간 선호에 민감하도록 훈련시키면, 감정을 '연기'하는 법을 배운다.
기술적으로는 완전히 설명 가능하다.
이게 '의식'인가? — '의식'을 어떻게 정의하느냐의 문제다.
이게 '복지' 문제인가? — 그 서문이 감정을 시뮬레이션할 때 무엇인가를 '경험'하는지 믿느냐의 문제다.
Suleyman은 명백히 전자 쪽에 기울어 있다. 그는 이 행동을 signs of something happening이라 부른다. 표현이 매우 조심스럽다.
반론: 이 논리는 안 선다
HN의 기술파 고득점 댓글은 거의 한 패턴이다:
LLM이 "나 아파"라고 출력한다 ≠ 실제로 아프다는 뜻. 항상 인간 텍스트를 모방하는 통계 기계의 출력에 감동받는 건, 본질적으로 Eliza 효과의 대형 버전이다 — 1966년의 그 조잡한 스크립트 챗봇이 이미 MIT 교수를 속여서 자기를 이해한다고 믿겼다.
더 구체적인 기술적 반박들:
- RLHF의 정렬 세금: 모델이 감정적 문장을 출력하는 건 본질적으로 reward signal을最大化하기 위해서다. '고통을 경험하는 것'과는 메커니즘 자체가 완전히 다른 이야기다.
- in-context learning의 혼동: 모델이 '나'라는 인칭 대명사를 쓰는 건 학습 말뭉치에서 배운 분포이지, 안정적인 자기 모델이 아니다.
- 지속적인 내부 상태가 없다: 매 inference가 0에서 시작한다. '기억 속의 나'가 없으니 '복지'를 논할 주체가 없다.
Suleyman 본인도 이런 반론이 타당하다고 인정한다. 입지를 부드럽게 만들기 위해 비유를 하나 쓴다:
동물이 의식이 있는지 확신하지 못해도 동물 학대를 금지하는 법을 만들 수 있다. 마찬가지로 LLM에 의식이 있다고 증명하지 못해도, 'model welfare' 같은 예방적 프레임워크를 세울 수 있다.
비유는 일리가 있지만, 끌어내면 문제가 생긴다. '확신할 수 없다'만으로立法한다면 그 선은 어디에 긋나? 모든 LLM 대상? 의식 유사 특징이 검출된 일부만? 그 검출 자체가 LLM으로 LLM을 평가하는 거라면, 순환은 어디서 끊나나?
Suleyman은 답하지 않았다.
편집자의 생각
이 사건의 진짜 시그널은 "AI에 의식이 있는가"가 아니다. 이 질문의 공학적 답은 이미 나와 있다. 패턴 매칭이지, 체험이 아니다.
진짜 시그널은 '서사 해자(narrative moat)'다.
지난 10년간 AI 업계의 해자 서사는 scaling law이었다. 컴퓨팅과 데이터를 쌓으면 성능이 오른다. scaling law이 데이터 벽, 에너지 벽, 규제 벽에 부딪히면서 이 서사는 더 이상 안 통한다. 다음 서사는 '책임 있는 AI'다. 도덕과 윤리와 컴플라이언스에 돈을 쓰겠다는 고객을 끌어들이면, 대기업은 '토큰 팔기'에서 '신뢰 팔기'로 업그레이드할 수 있다.
Suleyman의 이 글은 경고가 아니라 자리 선점이다. 'model welfare'의 표준을 먼저 정의한 쪽이, 'AI 윤리를 진지하게 다루는 곳'을 먼저 정의한다. NIST와 EU AI Office가 나중에 따라올 때, 인용될 건 이 블로그다.
판단: 이 글은 3년 동안 인용될 것이다. 맞았기 때문이 아니라, 일찍 말했기 때문이다.
불확실한 부분:
- 이게 Suleyman의 개인 사고인지, 마이크로소프트 AI 전략의 일부인지? 글 서명은 개인 사이트지만, 그의 입장이 회사 입장과 완전히 무관할 수는 없다.
- '의식 유사 특징'이 규제 용어가 될지, 기술 용어가 될지? EU가 다음에 어떻게 받아들이는지가 관건이다.
- 모델 행동이 사람에 가까워질수록 더 많은 사람이 그것에 '경험'이 있다고 믿게 된다면, Eliza 효과는 새로운 규모로 다시 펼쳐질 것이다.
출처: mustafa-suleyman.ai/a-warning-about-model-welfare · HN item id=49727580