Google DeepMind 已透過 Project Genie 開放 Genie 4。官方將它描述為能夠生成可互動世界模型的模型。
它的外觀看似影片生成工具。輸入文字、圖片或影片,便會得到一段連續畫面。
但其輸出並非固定影片,而是一個能回應操作的環境。
使用者可以讓角色移動、改變物件,或依序執行多項指令。官方示範中,同一場景會隨操作持續展開,而不是播放數秒就結束。
這讓 Genie 4 有別於一般的影片模型。它與目前聊天型 AI Agent 的關係也更微妙:Agent 真正欠缺的,往往不是「能回答」,而是行動之後能取得什麼回饋。
從影片生成到可互動環境
一般影片模型的介面大致如下:
prompt -> frames
提示詞決定內容,模型則生成一串畫面。使用者可以調整視角、延長片段或修改提示詞,卻無法直接改變故事中的物件。
Genie 4 的介面更接近另一種模式:
initial input + actions -> changing environment
初始輸入可以是文字、圖像或影片。之後,環境會依使用者指令即時調整。
例如先提供一張房間圖片,再要求角色開門、走過去並拿起物品。模型必須持續維護場景狀態,而不是每次都重新生成一張靜態圖片。
「世界模型」之所以值得討論,就在這裡。
它不只預測下一個畫面,而是嘗試表示:如果採取某項行動,世界接下來會發生什麼。
對 AI Agent 而言,這個差異非常實際。
Agent 執行計畫時,需要一套回饋循環:觀察目前狀態、選擇行動、接收行動結果,再決定下一步。
聊天型 Agent 通常依靠 LLM 推理與工具回傳值推進。具身 Agent 則依賴攝影機、感測器與實體環境。
Genie 4 試圖提供第三種回饋層:生成式環境。
它未必等同於真實世界,但至少具備連續回應能力。相較於一次回傳幾段「看似合理」的影片,這更接近 Agent 實際需要的工作方式。
Genie 4 實際開放了哪些功能
Google DeepMind 已在 Project Genie 中開放 Genie 4,使用者可透過 Project Genie 使用該模型。
官方列出的輸入方式有三種:
- 文字:從一句場景描述開始。
- 圖像:以一張靜態圖片定義初始環境。
- 影片:利用既有片段建立動態場景。
這些輸入所產生的並非只能播放的內容,而是支援互動任務的環境。官方列出的用途包括探索、創造與測試場景。
「探索」對應開放式試用。使用者可以指定地點、角色與目標,再觀察環境如何回應。
例如生成一條古代街道,要求角色尋找某棟建築。此時,環境是否穩定、路線是否連續,比首幀是否漂亮更重要。
「創造」可將 Genie 4 當成故事或遊戲原型工具。先用圖片確立美術風格,再透過指令推動劇情。真正的考驗在於模型能否遵守物件身分與場景限制,而非單一畫面的解析度。
「測試場景」則更接近 Agent 開發者關注的部分。開發者可以建構含變數的環境,讓 Agent 探索路徑、尋找目標,並測試失敗處理機制。
生成式環境未必足夠真實,但可以充當低成本模擬器。
官方部落格原文:Google DeepMind: Genie 4 is now available on Project Genie
草稿曾提到這則消息登上 Hacker News 首頁,獲得 236 分與 161 則留言。由於原始素材未提供這項資訊及其統計口徑,已予刪除,以免將未經驗證的數據視為事實。
即使 Hacker News 的熱度確實存在,也不能當作能力評測。它最多只能顯示有人關注這項技術,不能證明 Genie 4 已適合無人值守地訓練 Agent。
Agent 真正欠缺的是環境
目前的 AI Agent 通常由 LLM、工具呼叫與狀態管理組成。
以 LangGraph 為例,開發者可以將任務拆成多個節點,讓 Agent 在搜尋、讀取與執行等工具之間切換。
整體流程可以表示為:
goal -> plan -> tool call -> observation -> next action
問題在於,工具回傳的資訊大多離散且預先定義。
搜尋會取得搜尋結果,API 會回傳結構化回應,資料庫則輸出查詢結果,但它們不會模擬「如果物體持續滾動,結果會如何」。
因此,物理任務、環境任務與長期規劃都受到限制。
假設 Agent 要測試一套倉儲搬運方案。在現實世界中,讓機器人學會從輸送帶抓取箱子,需要取得大量真實樣本。
成本高昂,設備也容易耗損。生成式環境可以先提供近似回饋,例如箱子位置是否改變、路徑是否受阻,以及動作失敗後的畫面是否符合預期。
這正是世界模型可能補上的那一層。
但這裡必須區分「模型」與「完整環境」。模型只會生成環境回應,不一定具備目標、獎勵函式、可靠的狀態查詢,以及可重複初始化的能力。
若要拿它訓練 Agent,還需要周邊系統:
- 狀態描述:將視覺結果轉換成 Agent 可讀取的觀察。
- 動作介面:限制可執行的動作,並記錄每一步。
- 任務判定:明確界定成功、失敗與終止條件。
- 重複實驗:固定場景、變數與隨機種子。
如果缺少這些介面,Genie 4 仍更像是互動式影片工具,而非完整的 Agent 訓練平台。
示範之外,三道難題仍未解決
第一道難題是物理法則。
畫面連續,不代表物理正確。
杯子倒下後,水是否朝應有方向流動?物體受到推動後,是否維持合理速度與摩擦力?角色伸手抓取時,接觸關係是否穩定?
這些細節決定生成式環境能否承擔訓練任務。
對寫程式碼的 Agent 而言,錯誤的 API 回傳值通常容易察覺。但在機器人模擬中,接觸、摩擦與碰撞的細微偏差,會被策略學習放大。
第二道難題是長任務一致性。
Genie 4 可以依指令即時調整,但「即時調整」並不等於「長期可靠」。
當任務持續數分鐘、數十個步驟,甚至更久時,模型能否記住物件、目標與已發生的變化?
影片模型常見的失敗包括:
- 人物外觀逐漸改變。
- 已移動的物件回到原位。
- 指令執行順序錯亂。
- 局部畫面變好,整體空間關係卻失真。
Agent 會利用這些漏洞。如果生成式環境存在可重複的「作弊路徑」,策略可能學會利用模型缺陷,而不是任務本身。
第三道難題是現實落差。
真實世界包含不規則材質、模糊感測器、延遲、網路故障,以及人的意外行為。生成式環境可以減少這些變數,這對學習固然有幫助,卻也意味著它天生比現實更乾淨。
Genie 4 的世界可以先作為預訓練沙箱,再以真實資料校正。若直接將生成結果視為現實,結論便會失真。
更合理的分工是:先在低成本環境中淘汰明顯失敗的策略,再到實體設備或高保真模擬器中驗證。
編輯觀點
Genie 4 之所以重要,不只因為影片多了一種互動方式。它將 Agent 訓練中最昂貴的環節之一擺上桌面:環境。目前 Agent 的能力提升大多來自更強的模型與更複雜的工具編排,但現實任務最終仍受制於試錯成本。
我的判斷是,短期內它更適合用於 Agent 原型開發與機器人模擬,而非直接取代真實測試。生成式環境可以驗證狀態回饋、動作順序與任務流程,卻無法自動解決物理誤差與現實落差。
這次與過去的文生影片不同:輸出從「內容」變成「隨動作變化的環境」,介面也開始接近 Agent 所需的閉環。仍不確定的是,Project Genie 目前開放的功能、穩定性與使用邊界,是否足以支援大規模自動評測。示範證明了方向可行,卻不足以證明它已是可靠的訓練基礎設施。