실전

25명 AI村民으로 학회를 뒤흔든 연구자, 이제 80억 명 분신 만들기에 나섰다

스탠퍼드 출신 Joon Sung Park는 Generative Agents로 AI 커뮤니티를 사로잡았고, 지금은 Simile을 창업해 전 세계 80억 명 규모의 디지털 트윈을 사업으로 키우고 있다. Simulation은 단순한 데모가 아닌 새로운 scaling law라는 주장이다.

글자 크기

25명 AI村民으로 학회를 뒤흔든 연구자, 이제 80억 명 분신 만들기에 나섰다

2023년 4월, 한 편의 논문이 AI 커뮤니티 전체를 폭발시켰다.

LLM으로 구동되는 25명의 가상村民이 Smallville이라는 픽셀 마을에投放됐다. 그들은 스스로 일어나고, 밥을 해 먹고, Valentine's Day 댄스파티에 가고, 옆집 누군가가 연애 중인지 gossip을 했다. 아무도 규칙을 쓰지 않았고, 명령을 내리지 않았다. 이틀을 돌려보니 이 agent들은 스스로 사교 관계를 형성하고, 파티를 열고, "Isabella가 Klaus를 좋아한다" 같은 마을 gossip까지 만들어냈다.

그 논문의 제목은 Generative Agents이며, 제1저자는 스탠퍼드 박사과정생 Joon Sung Park다. 2년이 흐른 지금, Park은 박사 학위를 받고, 투자를 유치하고, 회사를 차렸다. 회사 이름은 Simile.

지난달 그는 Latent Space 팟캐스트에 출연해, 모든 사람을 다시 자리에서 똑바로 앉게 할 한 가지 주장을 내던졌다:

Simulation is the new Scaling Law.

사전훈련은 모델 파라미터를 scale하고, RLHF는 정렬 품질을 scale한다. Simulation이 scale하려는 것은 세 번째 것, 즉 사회적 상황의 수와 복잡도다.

그는 Smallville을 25명에서 80억 명으로 확장하려 한다.

25명 주민에서 80억 명으로 향한 야망

Generative Agents 데모가当年的에 남긴 충격은 아직도 기억한다.

그것은 ChatGPT처럼 "당신이 물으면 답하는" 제품 스크린샷도 아니고, robotaxi처럼 "현실 세계에서 실제로 굴러가는" 영상도 아니었다. 보여준 것은 하나의 창발(emergence)이었다. 25명의 agent에게 공통의 물리적 공간, 공유 기억 스트림, 약간의 반성 메커니즘을 주고, 한 발 물러서서 무슨 일이 벌어지는지 지켜봤다.

벌어진 일: 발렌타인 댄스파티가 실제로 열렸고, 두 agent가 함께 Valentine's Day 불꽃놀이를 보러 가기로 했다. 그중 한 명은 오래 망설였는데, 이전에 다른 agent와 저녁을 먹기로 약속했기 때문이다. 이런 사회적 긴장감은 prompt에 적혀 있던 것이 아니다.

Park은 인터뷰에서 이렇게 말했다: "It was a fun exploration, but the technology itself can do much more serious things."

더 serious한 일이란 무엇인가? 그가 다음에 할 일이다.

왜 Simulation이 세 번째 Scaling Law인가

사전훈련这条 라인에는 이미 익숙하다. Chinchilla 법칙이 파라미터와 데이터의 비율을 어떻게 가져가야 loss가 내려가는지 알려준다. RLHF这条 라인에서는 Anthropic과 OpenAI가 달리고 있다. 인간의 선호도를 사용해 모델을 쓸만한 수준으로 정렬하는 방법.

Park이 제시한 세 번째 길은 scale의 대상이 모델이 아니라 세계다.

그의 기본 가정은 이렇다: 충분히 좋은 LLM이 있고(지금 실제로 있다), AI 성능을 진짜로 제한하는 것은 "말하는 능력"이 아니라 연습할 현실 세계 상황이 충분하지 않다는 것이다.

모델에게 "만약 A사가 가격을 10% 올리면 사용자들이 Twitter에서 어떻게 반응할까"라는 상황 10만 개를 던지면, 그 일을 예측하는 법을 배운다. 서로 다른 광고에 대한 서로 다른人群의 반응 1000만 개를 던지면, 시장 반응을 예측하는 법을 배운다.

이것이 사전훈련과 근본적으로 다른 점은 다음과 같다:

  • 사전훈련은 지식을 모델 가중치에 집어넣는 것
  • RLHF는 모델 출력 스타일을 조정하는 것
  • Simulation은 모델이大量의 "만약"을 돌려보고, 그 안에서 인간이 어떻게 행동하는지 배우는 것

Park은 직접 비유했다: "We're scaling the number and complexity of social situations."

모델은 엔진이고, simulation은 연료다.

디지털 트윈은 챗봇이 아니라 행동 예측기

여기가 Simile이라는 회사에서 가장 오해받기 쉬운 지점이다.

대부분의 사람이 "digital twin of every human"이라는 말을 들으면 첫 반응은 이렇다: 또 다른 Character.AI? 또 다른 대화 상대 AI 동반자?

그렇지 않다.

Simile의 Digital Twin은 당신과 대화하는 두 번째 자아가 아니다. 그것은 행동 예측기다. 입력은 다음과 같다:

  • 그 사람의 과거 구매 기록
  • 설문 조사 응답
  • 소셜 미디어 게시물
  • 인구통계 정보

출력은 이렇다: 그 사람이 새로운 정책, 새 제품, 새 광고를 마주했을 때 어떻게 투표할지, 무엇을 살지, 그 이메일을 열 것인지.

구체적인 응용 시나리오를 Park은 인터뷰에서 몇 가지 짚었다:

  • 시장 조사: P&G가 새 샴푸를 출시하려 한다. 전통적 방식은 5,000명을 대상으로 설문을 하는 것이다. Simile에서는 digital twin 5,000개를 돌려 그들이 가상 샴푸를 "사용해보게" 한 뒤 구매意愿를 알려준다. 속도와 비용은 완전히 다른 차원이다.
  • 정책 시뮬레이션: 한 도시가 차량 운행 제한제를 도입하려 한다. 정책 결정자는 서로 다른 소득 계층이 어떻게 반응할지 알고 싶다. 전기를 쓰는 차로 바꿀지, 그냥 이사를 할지. 전통적 방식은 사후에 데이터를 보는 것이고, Simile은 사전에 예측한다.
  • 금융 모델링: 개인 투자자가 시장 폭락 시 정말 패닉 매도를 할까? 행동 경제학이 수십 년 동안 다뤄온 연구 질문에 이제 digital twin 100만 개로 시나리오를 돌려 답할 수 있다.

Park의 말: "It's not a chatbot. It's a behavioral prediction engine."

이 포지셔닝은 매우 결정적이다. 그것은 Simile이 Character.AI 사용자를 빼앗으러 나온 것이 아니라, Gartner, Nielsen, Pew Research 같은 시장 조사 기관의饭碗를 빼앗으러 나온 회사임을 뜻한다.

논문 저자에서 CEO로, 빠졌던 함수

Latent Space 이번 에피소드에서 Park에게는 진짜 CEO 같은 순간이 몇 번 있었다. NeurIPS에서 데모를 발표하던 학술 신星的 모습과는 달랐다.

예를 들어 Simile의 현재 배포 방식에 대해 그가 말한 부분. "We do a hybrid model... We have our own platform... but for our larger enterprise clients, we're happy to deploy on their infrastructure." (Latent Space 인터뷰 전문 참조)

이 말을 풀어보면 이렇다: 고객이 행동 데이터를 자사 클라우드에 올리기 부담스러워한다면, 그럼 모델을 들고 고객 사옥에 들어가겠다.

이것은 to B를 하는 사람이라면 누구나 겪는, 컴플라이언스에서 비롯된 아키텍처 타협이다. Park은 1년 전쯤이라면 논문에서 이런 문제를 논의하지 않았을 것이다.

또 흥미로운 디테일이 있다. 그는 Simile이 현재 서비스하는 고객으로 "a Fortune 50 healthcare company"와 "several financial institutions"를 언급했다. 고객 이름은 밝힐 수 없지만 산업 방향은 명확하다. 규제가 엄격하고, 데이터가 민감하며, 한 번의 의사결정 비용이 매우 높은 산업. 이것은 Character.AI의 타깃 사용자(젊은이, 외로운, 대화가 필요한 사람)와는 완전히 다른 부류다.

Park은 또 한 가지를 인정했다: "It's a very different mindset from publishing papers."

논문을 쓰는 것은: "아이디어가 있다, 실험을 돌린다, 결과가 흥미롭다, 쓴다, 인용되기를 기다린다."

회사를 하는 것은: "고객이 내일 데모를 원한다. 모델이 그 고객 데이터에서 안정적으로 결과를 낼 수 있나? 세일즈에서 어떤 산업에 SOC 2 컴플라이언스가 필요하다고 하는데, 다음 분기에 감사를 통과할 수 있나?"

research-driven에서 revenue-driven으로의 전환이 그가 말하는 "the biggest adjustment"라고 한다.

심각한 경고: 시뮬레이션은 규모가 커지면大事가 된다

여기서 인터뷰의 분위기가 바뀌었다.

진행자가 Park에게 물었다: 당신이 하는 일은 본질적으로 AI로 인간 행동을 시뮬레이션하는 것이다. 70년 전 사회과학의 꿈이 바로 이것이었다. 만약 정말 80억 명 분량의 digital twin을 돌릴 수 있다면, 오용의 공간은 얼마나 큰가?

Park의 답은 신중했지만 정직했다. 그가 현재 반드시 지켜야 한다고 생각하는 경계 몇 가지를 제시했다:

  1. 개인의 조작에 사용되어서는 안 된다. 특정 개인을 위해 맞춤화된 digital twin을 만들고, 그 사람을 향한 심리전 광고를投放하는 것은 안 된다. 이 선은 그가 매우 단호하게 긋는다.
  2. 예측 결과는 확률이지 운명이 아니다. 모델이 "이 사람은 73% 확률로 구매한다"라고 하면, 그것은 통계적 추정이지 판결문이 아니다. 하위 사용자가 이를 이해해야 한다.
  3. 데이터 출처는 투명해야 한다. digital twin이 어떤 데이터에 기반해 만들어졌는지, 본인(subject)이 조회할 수 있어야 한다. 이것은 GDPR 류 규제의 기본 요건이다.

하지만 그 자신도 인정한다. 이것은 Simile의 현재 울타리이지 업계의 울타리가 아니다. 업계 전체가 digital twin을 만든다면, 누가 표준을 정하는가? 누가 감사하는가?

그는 잠 못 이루게 하는 시나리오 하나를 언급했다:

"If a government wanted to use this to predict civil unrest... that's where it gets really scary."

시뮬레이션은 그 자체로 인간 행동을 연구하는 가장 날카로운 도구다. 양날의 검처럼 날카롭다.

Park은 지금 투자자, 고객, 규제 기관 모두에게 같은 문장을 반복해서 말했다고 한다: "The technology is neutral, but the deployment is not."

기술은 중립이지만 배포는 그렇지 않다.

이 문장을 오래 생각했다. 그것은 Anthropic이 쓴 Constitutional AI, OpenAI가 쓴 Preparedness Framework과 본질적으로 같은 종류의 문제다. 능력이 강해질수록 배포의 책임도 커진다. Simulation이라는 scaling law 위에서, 이 문제를 존재하지 않는 척할 수 있는 사람은 없다.

마무리

Generative Agents의 25명 주민 데모는 본질적으로 장난감이었다.

하지만 그 장난감 안에 진짜 질문이 숨어 있었다. LLM이 정말 인간 행동을 시뮬레이션할 수 있는가? 할 수 있다면, 규모를 키우면 그것은 무엇이 되는가?

Park의 답은 이것이다: 80억 명의 예측 엔진이 된다. 시장 조사, 정책 결정, 금융 모델링의 새로운 인프라가 된다.

그의 우려는 이것이다: 조작, 감시, 사회 통제의 도구가 될 수도 있다.

두 길이 지금 동시에 열려 있다.


출처: 본문의 핵심素材는 Joon Sung Park의 Latent Space 팟캐스트 인터뷰에서 가져왔으며, 에피소드 제목은 Simulation is the New Scaling Law이다. Generative Agents 원 논문은 arXiv:2304.03442 참조.

출처: https://www.latent.space/p/simile