Google DeepMind周二以研究预览形式发布了其最新世界模型Genie 4。该最新模型生成了迄今最逼真、最具互动性的世界，允许用户在模拟过程中输入提示来改变场景。该模型还能生成与模拟世界匹配的实时音频，包括音乐、环境噪音和互动对话。
Genie 4发布前几个月，AI视频初创公司Runway刚发布了其第二款世界模型GWM Worlds 2——一款可玩、能动态响应用户输入并包含音频生成的模型。与此同时，世界模型行业正开始整合。李飞飞的World Labs正被AMD收购，亚马逊正洽谈收购Decart，Rivian则刚刚收购Third Dimension，以将模拟能力引入内部用于自动驾驶测试。
Genie 4是Google在拥挤赛道中保持领先的最新举措。
Google在大约一年多前以研究预览形式发布了前代产品Genie 3。除了远比前代更逼真并具备音频功能外，Genie 4还允许自由形式编辑，例如实时改变天气或摄像机角度，或添加新人物或物体。它可以将一致场景维持长达两分钟，是前代上限的两倍，并提供更好的物理效果和更接近人类的角色。
Google的AI模型Gemini也与Genie 4更紧密地集成，充当“导演”，负责规划步骤并检查画面，而Genie负责生成视觉内容。在与Gemini Robotics相关的一项研究实验中，Gemini 4 Argon模型将任务分解为步骤，由Genie 4实时模拟。该实验展示了一种可能的方式：在真实世界发生之前，先在模拟中测试机器人场景。
“未来我们将越来越多地看到这种混合世界模型，即Gemini编写代码和文本，Genie实时接收并模拟不同抽象层次的现实，”Google研究总监Tejas Kulkarni在简报会上表示。
与其他世界模型一样，其宣传的商业用例包括游戏、互动学习和机器人。互动学习的一个推测性例子是：进入一幅历史场景的画作，并与画中人物谈论所描绘的事件。
但“可信测试者”（首批获得Google尖端产品访问权限的人）正指向一个可能的新用途：电影原型制作。
“实时性在创意领域保持心流状态非常有用的地方最有价值，”Google DeepMind工程师Diego Rivas在新闻简报会上表示。“例如，在构思阶段、分镜阶段——任何时候你需要快速构思。”
Google还提供Veo，这是其AI视频生成模型，可根据文本、图像或视频提示制作带内置同步音频的高清片段。
Rivas补充说，用户最终可能依赖Gemini Omni，将这些原型转化为创意资产。不过他表示，这些能力仍有一段距离。
在整个简报会中，Rivas强调Genie 4仍处于早期阶段，尚不清楚端到端产品体验会是什么样。团队也承认Genie 4仍有差距：模拟运行时间越长，细节和物体可能发生漂移；他们也还没完全弄清楚如何确保音频准确以及世界内文字清晰可读。
Genie 4目前以研究预览形式向可信测试者开放。未来几周，该模型将向Google AI Ultra订阅用户开放，用于Project Genie，并向Gemini API和Google AI Studio的早期访问合作伙伴开放。
💬 评论