제품

Genie 4 공개, AI Agent와 세계 모델의 간극은 얼마나 남았나

Google DeepMind가 Project Genie을 통해 공개한 Genie 4는 텍스트·이미지·비디오를 바탕으로 상호작용 가능한 환경을 생성한다. 그러나 물리적 정확성, 장기 작업의 일관성, 현실과의 차이를 극복해야 안정적인 Agent 훈련 환경으로 활용할 수 있다.

글자 크기

Google DeepMind가 Project Genie을 통해 Genie 4를 공개했다. 공식 설명에 따르면 이 모델은 상호작용 가능한 세계 모델을 생성한다.

superficially는 비디오 생성 도구처럼 보인다. 텍스트, 이미지 또는 비디오를 입력하면 연속된 화면이 만들어진다.

하지만 결과물은 고정된 비디오가 아니라 사용자의 조작에 반응하는 환경이다.

사용자는 캐릭터를 이동시키거나 물체를 바꿀 수 있고, 연속된 여러 명령을 실행할 수도 있다. 공식 시연에서는 같은 장면이 조작에 따라 계속 이어졌으며, 몇 초짜리 영상이 끝나는 방식이 아니었다.

이 점에서 Genie 4는 일반적인 비디오 모델과 구분된다. 현재의 대화형 AI Agent와의 관계도 미묘하다. Agent에 부족한 것은 대답할 수 있는 기능보다, 행동한 뒤 어떤 피드백을 받는가에 있는 경우가 많다.

비디오 생성에서 상호작용 환경으로

일반적인 비디오 모델의 인터페이스는 대체로 다음과 같다.

prompt -> frames

프롬프트가 내용을 결정하면 모델이 프레임 시퀀스를 생성한다. 사용자는 시점, 길이 또는 프롬프트를 바꿀 수 있지만 이야기 속 대상을 직접 변경할 수는 없다.

Genie 4의 인터페이스는 다른 방식에 더 가깝다.

initial input + actions -> changing environment

초기 입력은 텍스트, 이미지 또는 비디오가 될 수 있다. 이후 환경은 사용자의 명령에 따라 실시간으로 조정된다.

예컨대 방 사진을 먼저 입력한 다음, 캐릭터가 문을 열고 걸어가 물건을 집으라고 명령할 수 있다. 이때 모델은 매번 정적인 이미지를 새로 생성하는 대신 장면의 상태를 계속 유지해야 한다.

‘세계 모델’을 논의하게 되는 이유도 여기에 있다.

세계 모델은 다음 프레임만 예측하는 것이 아니라, 어떤 행동을 선택했을 때 세계에 어떤 변화가 생길지를 표현하려 한다.

AI Agent에는 이 차이가 구체적인 의미가 있다.

Agent가 계획을 실행할 때는 피드백 루프가 필요하다. 현재 상태를 관찰하고, 행동을 선택하고, 행동 결과를 받은 뒤 다음 행동을 결정하는 과정이 반복돼야 한다.

대화형 Agent는 보통 LLM의 추론과 도구 반환값을 이용해 작업을 진행한다. embodied Agent는 카메라와 센서, 실제 환경에 의존한다.

Genie 4는 피드백 계층의 세 번째 방식인 생성 환경을 제공하려 한다.

실제 세계와 같지는 않더라도 연속적으로 반응할 수 있다는 점은 중요하다. 몇 개의 ‘그럴듯한’ 비디오를 한 번에 반환하는 방식보다 Agent의 실제 작업 방식에 가깝다.

Genie 4는 실제로 무엇을 공개했나

Google DeepMind는 Project Genie을 통해 Genie 4를 공개했다. 사용자는 Project Genie에서 이 모델을 이용할 수 있다.

공식 자료에 제시된 입력 방식은 세 가지다.

  • 텍스트: 한 줄의 장면 설명에서 시작한다.
  • 이미지: 정적인 이미지 한 장으로 초기 환경을 정의한다.
  • 비디오: 기존 영상으로 동적인 장면을 만든다.

이러한 입력으로 만들어지는 것은 단순히 재생되는 콘텐츠가 아니라 상호작용 작업을 지원하는 환경이다. 공식 자료에는 탐색, 창작, 시나리오 테스트가 주요 용도로 제시됐다.

‘탐색’은 개방형 시연을 뜻한다. 사용자가 장소, 캐릭터, 목표를 지정한 뒤 환경이 어떻게 반응하는지 관찰할 수 있다.

예컨대 고대 거리를 생성하고 캐릭터에게 특정 건물을 찾으라고 요구할 수 있다. 이때 첫 프레임이 얼마나 화려한지보다 환경이 안정적인지, 경로가 끊기지 않고 이어지는지가 중요하다.

‘창작’에서는 Genie 4를 이야기나 게임 프로토타이핑 도구로 사용할 수 있다. 이미지로 미술 스타일을 정한 다음 명령으로 서사를 전개한다. 여기서 중요한 것은 단일 프레임의 해상도가 아니라 객체의 정체성과 장면 제약을 모델이 유지하는지다.

‘시나리오 테스트’는 Agent 개발자가 특히关注할 만한 기능이다. 개발자는 변수를 포함한 환경을 만들고, Agent가 경로를 탐색하고 목표를 찾으며 실패 처리를 시험하도록 할 수 있다.

생성된 환경이 반드시 충분히 사실적일 필요는 없다. 저비용 시뮬레이터로 활용할 수 있기 때문이다.

공식 블로그 원문: Google DeepMind: Genie 4 is now available on Project Genie

초안에는 이 뉴스가 Hacker News 메인 페이지에 올라가 236점과 161개의 댓글을 얻었다는 내용이 있었다. 원자료에 해당 정보와 집계 기준이 제공되지 않아 검증되지 않은 수치를 사실처럼 다루지 않도록 삭제했다.

Even if Hacker News에서 주목을 받았더라도 이를 성능 평가로 볼 수는 없다. 누군가 관심을 가졌다는 사실까지만 보여줄 뿐, Genie 4가 Agent를 사람의 개입 없이 훈련하기에 적합하다는 증거는 되지 않는다.

Agent에 실제로 부족한 것은 환경이다

현재 AI Agent는 보통 LLM, 도구 호출, 상태 관리로 구성된다.

LangGraph를 예로 들면 개발자는 작업을 노드로 나눠 Agent가 검색, 읽기, 실행 등의 도구 사이를 오가도록 만들 수 있다.

흐름은 다음과 같이 표현할 수 있다.

goal -> plan -> tool call -> observation -> next action

문제는 대부분의 도구가 반환하는 정보가 이산적이고 미리 정의되어 있다는 점이다.

검색은 검색 결과를, API는 구조화된 응답을, 데이터베이스는 질의 결과를 반환한다. 이들은 ‘물체가 계속 굴러갈 경우 어떤 결과가 나타나는가’를 시뮬레이션하지 않는다.

그 탓에 물리 작업, 환경 작업, 장기 계획에는 한계가 생긴다.

Agent가 창고 운반 방식을 시험한다고 가정하자. 현실에서 로봇이 컨베이어 벨트에서 상자를 잡는 법을 배우려면 많은 실제 데이터가 필요하다.

비용이 높고 장비도 쉽게 마모된다. 생성 환경은 우선 근사적인 피드백을 제공할 수 있다. 상자의 위치가 바뀌는지, 경로가 막혔는지, 행동이 실패한 뒤의 장면이 기대에 맞는지를 확인할 수 있다.

세계 모델이 보완할 수 있는 계층이 바로 여기에 있다.

다만 ‘모델’과 ‘완전한 환경’은 구분해야 한다. 모델은 환경의 반응을 생성하지만, 목표, 보상 함수, 안정적인 상태 조회, 재현 가능한 초기화를 기본으로 제공한다는 보장은 없다.

Agent를 훈련하려면 주변 시스템이 추가로 필요하다.

  • 상태 설명: 시각적 결과를 Agent가 읽을 수 있는 관찰값으로 변환한다.
  • 행동 인터페이스: 실행 가능한 행동을 제한하고 각 단계를 기록한다.
  • 작업 판정: 성공, 실패, 종료 조건을 명확히 정의한다.
  • 반복 실험: 장면, 변수, random seed를 고정한다.

이러한 인터페이스가 없다면 Genie 4는 완전한 Agent 훈련 플랫폼보다 상호작용형 비디오 도구에 가깝다.

시연을 넘어선 세 가지 난제

물리 법칙

첫 번째 난제는 물리 법칙이다.

화면이 연속된다는 사실이 물리적으로 정확하다는 뜻은 아니다.

컵이 쓰러진 뒤 물이 기대한 방향으로 흐르는가. 물체가 밀린 뒤 속도와 마찰이 합리적으로 유지되는가. 캐릭터가 손을 뻗어 물체를 잡을 때 접촉 관계가 안정적인가.

이러한 세부가 생성 환경을 훈련 작업에 사용할 수 있는지를 결정한다.

코드를 작성하는 Agent라면 잘못된 API 반환값은 대개 쉽게 발견한다. 반면 로봇 시뮬레이션에서는 접촉, 마찰, 충돌의 작은 오차가 전략 학습 과정에서 더 크게 확대될 수 있다.

장기 작업의 일관성

두 번째 난제는 장기 작업에서의 일관성이다.

Genie 4는 명령에 따라 실시간으로 조정될 수 있지만, ‘실시간 조정’이 ‘장기간의 신뢰성’을 보장하지는 않는다.

작업이 몇 분, 수십 단계 또는 그보다 오래 이어질 때 모델이 객체, 목표, 이미 일어난 변화를 기억할 수 있는가.

비디오 모델에서 자주 발생하는 실패 유형은 다음과 같다.

  • 인물의 외형이 점차 변한다.
  • 이미 이동한 물체가 원래 위치로 돌아간다.
  • 명령 실행 순서가 뒤바뀐다.
  • 局部적인 화면은 좋아지지만 전체 공간 관계는 왜곡된다.

Agent는 이런 허점을 이용해 학습할 수 있다. 생성 환경에 반복해서 사용할 수 있는 ‘치킹 경로’가 있다면 전략이 모델의 결함을 악용하는 방법을 배울 수도 있다.

현실과의 차이

세 번째 난제는 현실과의 차이다.

현실 세계에는 불규칙한 재질, 노이즈가 섞인 센서, 지연, 네트워크 장애, 사람의 예기치 않은 행동이 존재한다. 생성 환경은 이런 변수를 줄일 수 있어 학습에 도움이 되지만, 본질적으로 더 ‘ 깨끗한’ 환경이라는 의미이기도 하다.

Genie 4의 세계를 pretraining sandbox로 사용한 뒤 실제 데이터로 보정할 수 있다. 반대로 생성 결과를 현실과 동일하게 취급하면 결론이 왜곡된다.

더 합리적인 분담 방식은 저비용 환경에서明显히 실패하는 전략을 먼저 걸러낸 뒤, 실제 장비나 고정밀 시뮬레이터에서 검증하는 것이다.

편집자 관점

Genie 4의 중요성은 비디오에 상호작용이라는 방식이 하나 늘었다는 데만 있지 않다. Agent 훈련에서 가장 비싼 요소 중 하나인 ‘환경’을 전면에 내세웠기 때문이다. 현재 Agent의 능력 향상은 대부분 더 강한 모델과 복잡한 도구 오케스트레이션에서 나오지만, 현실 세계의 작업은 결국 시행착오 비용이라는 한계에 막혀 있다.

제 판단으로는 단기적으로 Genie 4는 Agent 프로토타이핑과 로봇 시뮬레이션에 더 적합하며, 실제 테스트를 즉시 대체하기는 어렵다. 생성 환경은 상태 피드백, 행동 순서, 작업 흐름을 검증할 수 있지만, 물리 오차와 현실과의 차이를 자동으로 해결하지는 못한다.

이번에는 과거의 text-to-video와 달랐다. 결과물이 ‘콘텐츠’에서 ‘행동에 따라 변하는 환경’으로 바뀌었고, 인터페이스가 Agent에 필요한 닫힌 루프에 가까워졌다. 다만 Project Genie이 현재 공개한 기능의 안정성과 사용 범위가 대규모 자동 평가를 뒷받침할 수 있는지는 아직 알 수 없다. 시연은 방향이可行함을 보여줄 뿐이며, 이미 신뢰할 수 있는 훈련 인프라가 되었음을 증명하지는 않는다.

출처

출처: https://blog.google/innovation-and-ai/models-and-research/google-deepmind/genie-4-now-available-project-genie/