产品

Genie 4 上线:AI Agent 离世界模型还有多远?

Google DeepMind 已通过 Project Genie 开放 Genie 4。它能根据文本、图像或视频生成可交互环境,但距离成为可靠的 Agent 训练场,还要跨过物理规律、长任务一致性和现实偏差三道门槛。

字号

Google DeepMind 已通过 Project Genie 开放 Genie 4。它能生成可交互环境,但离可靠的 Agent 训练场还有多远?

Google DeepMind 已通过 Project Genie 开放 Genie 4。官方把它描述为一种可生成可交互世界模型的模型。

它看起来像视频生成工具。输入文字、图片或视频,得到一段连续画面。

但输出并非固定视频,而是一个能响应操作的环境。

用户可以让角色移动、改变物体,或者执行一串连续指令。官方展示里,同一场景会随操作继续展开,而不是播放几秒就结束。

这让 Genie 4 和常规视频模型分开。它和当前聊天型 AI Agent 的关系也更微妙:Agent 缺的往往不是“会回答”,而是行动之后能收到什么反馈。

从视频生成到可交互环境

普通视频模型的接口大致是:

prompt -> frames

提示词决定内容,模型生成一段帧序列。用户可以调整视角、延长片段或修改提示词,但无法直接改变故事中的对象。

Genie 4 的接口更接近另一种模式:

initial input + actions -> changing environment

初始输入可以是文本、图像或视频。随后,环境根据用户指令实时调整。

比如先给一张房间图片,再要求角色打开门、走过去并拿起物品。模型需要持续维护场景状态,而不是每次都重新生成一张静态图。

这也是“世界模型”值得讨论的地方。

它不只是预测下一帧,而是尝试表示:如果采取某个动作,世界接下来会发生什么。

对 AI Agent 来说,这个区别很实际。

一个 Agent 执行计划时,需要反馈循环:观察当前状态,选择动作,接收动作结果,再决定下一步。

聊天 Agent 通常靠 LLM 推理和工具返回值推进。具身 Agent 则依赖摄像头、传感器和真实环境。

Genie 4 尝试提供第三种反馈层:生成环境。

它未必等于真实世界,但至少具备连续响应能力。这比一次性返回几段“看起来合理”的视频更接近 Agent 实际需要的工作方式。

Genie 4 实际开放了什么

Google DeepMind 已在 Project Genie 中开放 Genie 4。用户通过 Project Genie 使用该模型。

官方列出的输入方式有三种:

  • 文本:从一句场景描述开始。
  • 图像:用一张静态图片定义初始环境。
  • 视频:用已有片段建立动态场景。

这些输入生成的不是只能播放的内容,而是支持交互任务的环境。官方列出的用途包括探索、创造和测试场景。

“探索”对应开放式试用。用户可以指定地点、角色和目标,再观察环境如何响应。

比如生成一条古代街道,要求角色寻找某栋建筑。环境是否稳定、路线是否连续,比首帧是否漂亮更重要。

“创造”可以把 Genie 4 当成故事或游戏原型工具。先用图片确定美术风格,再通过指令推动剧情。这里考验的是模型能否遵守对象身份和场景约束,而不是单帧分辨率。

“测试场景”更接近 Agent 开发者关心的部分。开发者可以构造带变量的环境,让 Agent 探索路线、寻找目标,并测试失败处理。

生成环境不一定足够真实,但可以充当低成本模拟器。

官方博客原文:Google DeepMind: Genie 4 is now available on Project Genie

草稿提到,该消息登上 Hacker News 首页,获得 236 分和 161 条评论。因为原素材未提供这条信息及其统计口径,已删除,避免把未核验数据当成事实。

Hacker News 热度即使存在,也不能当作能力评测。它最多说明有人关心,不能证明 Genie 4 已适合无人值守地训练 Agent。

Agent 真正缺的是环境

现在的 AI Agent 通常由 LLM、工具调用和状态管理组成。

以 LangGraph 为例,开发者可以把任务拆成节点,让 Agent 在搜索、读取、执行等工具之间切换。

流程可以写成:

goal -> plan -> tool call -> observation -> next action

问题是,工具返回的信息大多是离散且预设的。

搜索得到搜索结果,API 得到结构化响应,数据库返回查询结果。它们不负责模拟“如果物体继续滚动,结果会怎样”。

物理任务、环境任务和长期规划都因此受限。

假设 Agent 要测试一套仓库搬运方案。现实里,让机器人学会从传送带抓取箱子,需要大量真实采样。

成本高,设备也容易磨损。生成环境可以先提供近似反馈:箱子位置是否变化、路径是否被挡住、动作失败后的画面是否符合预期。

这正是世界模型可能补上的层。

但这里需要把“模型”与“完整环境”分开。模型生成的是环境响应,不一定自带目标、奖励函数、可靠状态查询和可重复初始化。

要拿它训练 Agent,还需要外围系统:

  • 状态描述:把视觉结果转换成 Agent 可读取的观察。
  • 动作接口:约束可执行动作,并记录每一步。
  • 任务判定:明确成功、失败和终止条件。
  • 重复实验:固定场景、变量和随机种子。

如果缺少这些接口,Genie 4 仍然更像交互视频工具,而不是完整的 Agent 训练平台。

演示之外,三道难题仍未解决

第一道难题是物理规律。

画面连续,不代表物理正确。

杯子倒下后,水是否按应有方向流动。物体被推动后,是否保持合理的速度与摩擦。角色伸手抓取时,接触关系是否稳定。

这些细节决定生成环境能不能承担训练任务。

对于写代码的 Agent,错误的 API 返回值通常容易发现。对于机器人仿真,接触、摩擦和碰撞的细小偏差会被策略学习放大。

第二道难题是长任务一致性。

Genie 4 可以根据指令实时调整,但“实时调整”不等于“长期可靠”。

任务持续几分钟、几十步甚至更久时,模型能否记住对象、目标和已经发生的变化?

视频模型常见的失败包括:

  • 人物外观逐渐变化。
  • 已移动的物体回到原位。
  • 指令执行顺序错乱。
  • 局部画面变好,整体空间关系却失真。

Agent 会利用这些漏洞。如果生成环境存在可重复的“作弊路径”,策略可能学会利用模型缺陷,而不是任务本身。

第三道难题是现实偏差。

真实世界包含不规则材质、模糊传感器、延迟、网络故障和人的意外行为。生成环境可以减少这些变量,这对学习有用,却也意味着它天然更干净。

Genie 4 的世界可以成为预训练沙箱,再由真实数据校正。若把生成结果直接当成现实,结论会失真。

更合理的分工是:先在低成本环境里筛掉明显失败的策略,再到真实设备或高保真仿真器验证。

编辑思考

Genie 4 重要,不只是因为视频多了一种交互方式。它把 Agent 训练中最昂贵的部分之一摆到了台面上:环境。当前 Agent 的能力提升大多来自更强模型和更复杂的工具编排,但现实任务最终仍受限于试错成本。

我的判断是,短期内它更适合 Agent 原型与机器人仿真,而不是直接替代真实测试。生成环境可以验证状态反馈、动作顺序和任务流程,却不能自动解决物理误差与现实偏差。

这次和过去的文生视频不同:输出从“内容”变成“随动作变化的环境”,接口开始接近 Agent 所需的闭环。仍不确定的是,Project Genie 当前开放的功能、稳定性与使用边界能否支持大规模自动评测。演示证明方向可行,还不足以证明它已是可靠的训练基础设施。

来源

  • https://blog.google/innovation-and-ai/models-and-research/google-deepmind/genie-4-now-available-project-genie/
来源: https://blog.google/innovation-and-ai/models-and-research/google-deepmind/genie-4-now-available-project-genie/