Google DeepMindはProject Genieを通じてGenie 4をtml一般に公開した。操作可能な環境を生成できる一方、信頼できるAgentの訓練環境として使うまでには、まだ距離がある。
Genie 4登場、生成AI-AgentPagEの訓練環境はここまで
Google DeepMindはProject Genieを通じてGenie 4をtml一般に公開した。官方では、可操作なworld modelを生成できるモデルと説明している。
superficiallyはvideo generation toolのように見える。textや画像、動画をinputすると、連続した映像が生成される。
ただし、出力は固定の動画ではない。操作に反応する環境だ。
キャラクターを移動させたり、物体を変化させたり、連続した指示を実行させたりできる。公式デモでは、同じシーンが操作に応じて展開し、数秒の映像が再生されて終わるわけではない。
ここがGenie 4と通常の動画生成モデルとの違いだ。現行の対話型AI Agentとの関係も複雑である。Agentに不足しているのは「応答できる能力」보다むしろ、行動した結果として何を受け取るかである。
動画生成から操作可能な環境へ
通常の動画生成モデルのinterfaceは、おおよそ次のようになる。
prompt -> frames
promptが内容を決定し、モデルが連続するframeを生成する。ユーザーは視点を変えたり、動画を延長したり、promptを書き換えたりできるが、物語の中の対象を直接変更することはできない。
Genie 4のinterfaceは、もう少し異なる形式に近い。
initial input + actions -> changing environment
initial inputにはtext、画像、動画を使える。その後、環境はユーザーの指示に応じてリアルタイムに変化する。
たとえば、部屋の画像を渡したうえで、キャラクターにドアを開け、歩いて行って物を手に取도록指示する。モデルはsceneの状態を維持し続けており、毎回静止画を作り直すわけではない。
ここに「world model」が議論される意味がある。
world modelは単なる次のframeの予測ではなく、ある行動を取った場合、世界に何が起こるかを表現しようとする。
AI Agentにとって、この違いは実務上重要である。
Agentがplanを実行するときには、feedback loopが必要だ。現在の状態を観察し、行動を選び、その結果を受け取って次の行動を決めるという過程である。
対話型Agentは通常、LLMの推論とtoolからの戻り値を使って進む。embodied Agentは、カメラ、sensor、現実の環境に依存する。
Genie 4が提供しようとしているのは、第三のfeedback layer、すなわち生成環境である。
現実の世界と一致するとは限らないが、少なくとも連続して反応できる。ongs投资人な映像を一度返すだけより、Agentが実際に必要とするworking methodに近い。
Genie 4で実際に何ができるのか
Google DeepMindはProject GenieでGenie 4を公開した。ユーザーはProject Genieを通じてこのモデルを利用する。
公式に挙げられたinput方法は三つある。
- text:一文のscene descriptionから始める。
- 画像:一枚の静止画で初期環境を定義する。
- 動画:既存の映像から動的なsceneを構築する。
これらのinputから生成されるのは、再生だけを目的とした内容ではなく、interactive taskが可能な環境である。公式には、探索、創作、sceneのtestingという用途が挙げられている。
「探索」はopen-endedでの利用を意味する。場所、キャラクター、目標を指定し、環境がどう反応するかを確認する。
たとえば、古い街並みを生成し、キャラクターに特定の建物を探させることができる。最初のframeが美しいかではなく、環境が安定しているか、経路が連続しているかが重要になる。
「創作」では、Genie 4を物語やゲームのプロトタイプツールとして使える。画像でアートスタイルを定め、指示で物語を進める。single frameの解像度ではなく、対象の一貫性とsceneの制約をモデルが守れるかが問われる。
「sceneのtesting」は、Agent開発者が強く関心を持つ領域に近い。変数を含む環境を構築し、Agentに経路の探索、目標の探索、失敗時のhandlingをtestさせることができる。
生成環境は現実ほど正確でなくても、低コストのsimulatorとして機能し得る。
公式ブログ:Google DeepMind: Genie 4 is now available on Project Genie
草稿では、このニュースがHacker Newsのfront pageに載り、236 pointと161 commentを集めたとされていた。ただし、元の素材にこの情報と集計基準が示されていなかったため、検証できない数値を事実として扱うのを避けるために削除した。
Hacker Newsでの人気は,即使存在しても、能力的評価として扱ってはいけない。誰かの関心を示すことはできても、Genie 4がAgentの無人運転trainingに適している証明にはならない。
Agentが本当に必要としているもの
現在のAI Agentは、通常、LLM、tool call、状態管理で構成される。
LangGraphを例にすると、開発者はtaskをnodeに分解し、Agentが検索、読み取り、実行などのtool間を移動하도록構成できる。
そのflowは次のように表せる。
goal -> plan -> tool call -> observation -> next action
問題は、toolが返す情報の多くは離散的で、presetされていることだ。
検索なら検索結果、APIなら構造化されたresponse、データベースならquery resultが返る。しかし、「物体が転がり続けたらどうなるか」をsimulateする职责は負っていない。
そのため、物理task、環境task、長期planningには制約が残る。
たとえば、Agentが倉庫の搬送方式をtestするとする。現実世界でロボットにconveyor beltから箱をgrabする方法を学ばせるには,大量の実データが要る。
コストは高く、deviceもwearしやすい。生成環境は、まず近似したfeedbackを提供できる。箱の位置が変化したか、経路が塞がれたか、行動が失敗した後の画面が想定通りかを確認できる。
world modelが補える可能性のあるlayerは、まさにここにある。
ただし、「model」と「完全な環境」は区別する必要がある。モデルが生成するのは環境へのresponseであり、目標、reward function、信頼できる状態照会、再現可能な初期化を必ず含むわけではない。
Agentのtrainingに使うには、周辺システムも必要になる。
- 状態記述:視覚結果をAgentが読めるobservationに変換する。
- action interface:実行可能なactionを制約し、各stepを記録する。
- task判定:成功、失敗、終了条件を明確に定義する。
- 反復実験:scene、変数、random seedを固定する。
これらのinterfaceがなければ、Genie 4は完全なAgent training platformというより、操作可能な動画生成ツールのままである。
デモ Judicial解決していない三つの難題
第一の難題:物理法則
映像が連続していても、物理的に正しいとは限らない。
カップを倒した後、水は期待された方向へ流れるのか。物体を押した後は、妥当な速度とfrictionを保つのか。キャラクターが手を伸ばして物をつかむとき、接触関係は安定するのか。
こうした細部が、生成環境でtraining taskを担えるかを左右する。
コードを扱うAgentなら、誤ったAPI responseは通常見つけやすい。一方、robot simulationでは、接触、friction、collisionの小さなずれがpolicy learningによって拡大される。
第二の難題:長時間taskでの一貫性
Genie 4は指示に応じてリアルタイムに変化させられるが、「リアルタイムに変化する」ことは「長期間信頼できる」こととは別である。
taskが数分、数十step、さらに長い期間続く場合、モデルは対象、目標、それまでに起きた変化を記憶できるだろうか。
動画モデルに一般的なfailureには、次のようなものがある。
- 人物の外観が徐々に変化する。
- 移動済みの物体が元の位置に戻る。
- 指示の実行順序が混乱する。
- 局所的な画面は良くなる一方、全体の空間関係が崩れる。
Agentはこうした抜け道可以利用することがある。生成環境に再現可能な「cheat route」が存在すれば、policyはtask自体ではなくモデルの欠陥を学習してしまう可能性がある。
第三の難題:現実との乖離
現実世界には、不規則なmaterial、ぼやけたsensor、delay、network failure、人の予想外の行動が含まれる。生成環境はこれらを変数を減らせるためlearningには有益だが、その反面、自然により整った環境でもある。
Genie 4の世界をpretraining sandboxとして使い、実データで補正する方法は考えられる。生成結果をそのまま現実とみなせば、結論は歪む。
より合理的な役割分担は、低コストな環境で明らかな失敗policyを先に除外し、その後で実deviceまたは高fidelity simulatorで検証することだ。
編集部の見立て
Genie 4の重要さは、interactiveな動画生成が一つ増えたことだけにはあるない。Agent trainingで最も高額な部分の一つ、環境という問題を表 短期内には、Agentのプロトタイピングとrobot simulationには向いているが、実device上のtestingを直接置き換えるとは考えにくい。生成環境は状態feedback、actionの順序、task flowを検証できるが、物理誤差や現実との乖離を自動的に解決できるわけではない。 今回のtext-to-video以往と違うのは、出力が「内容」から「行動に応じて変化する環境」へと変わり、interfaceがAgentに必要なclosed loopに近づき始めた点にある。Project Genieが現在公開している機能、stability、利用範囲が、大規模な自動evaluationを支えられるかはまだ分からない。デモは方向が成立することを示したにとどまり、信頼できるtraining infrastructureとして機能することまでは証明していない。出典