谷歌发布其最新世界模型 Genie 4，有哪些技术突破和亮点？

采集时热榜第 34 名 · 89 万热度 Genie 4 凤凰网科技讯 北京时间 10 月 28 日，据科技网站 TechCrunch 报道，谷歌 DeepMind 在周二发布了其最新世界模型 Genie 4 的研究预览版。这一最新模型能够生成迄今最逼真、最具交互性的世界，允许用户在模拟过程中输入提示词来改变场景。该模型还能生成与模拟世界相匹配的实时音频，包括音乐、环境音效和交互式对话。 Genie 4 是谷歌为了在竞争激烈的世界模型领域保持领先地位而采取的最新举措。就在 Genie 4 发布的几个月前，AI 视频创业公司 Runway 推出了其第二款世界模型 GWM Worlds 2。这是一款可交互的模型，能够根据用户输入动态作出响应，并具备音频生成功能。与此同时，世界模型行业开始出现整合趋势。李飞飞的 World Labs 正被 AMD 收购，亚马逊正在洽谈收购 Decart，而 Rivian 刚刚收购了 Third Dimension，以将模拟能力引入内部用于自动驾驶测试。 和谷歌一年前发布的上一代世界模型 Genie 3 相比，除了画面更加逼真并加入音频功能外，Genie 4 还支持自由编辑，例如实时改变天气或摄像机角度，以及添加新人物或物体。它能够将一致的场景维持长达两分钟，是上一代模型的两倍，同时还具备更出色的物理模拟效果和更接近真人的角色。 Genie 4 生成画面更逼真 谷歌 AI 模型 Gemini 也与 Genie 4 实现了更紧密的整合。Gemini 充当「导演」，负责规划步骤并检查画面，而 Genie 则负责生成视觉内容。在一项与 Gemini Robotics 相关的研究实验中，Gemini 4 Argon 模型将任务分解为多个步骤，再由 Genie 4 进行实时模拟。这项实验展示了一种潜在的方法，即在机器人执行现实世界中的任务之前，先通过模拟环境测试相关场景。 「未来，我们将越来越多地看到这种混合式世界模型，将 Gemini 编写代码和文本的能力与 Genie 实时接收这些内容、并在不同抽象层次上模拟现实的能力结合起来。」谷歌研究总监特贾斯·库尔卡尼 (Tejas Kulkarni) 在一次媒体吹风会上表示。 与其他世界模型一样，Genie 4 所瞄准的商业应用场景包括游戏、交互式学习和机器人技术。交互式学习的一种设想是，用户可以进入一幅描绘历史场景的画作，与画中人物交谈，了解画作所呈现的历史事件。 不过，首批获准体验谷歌前沿产品的「受信任测试人员」指出了另一种潜在用途：制作电影原型。 谷歌 DeepMind 工程师迭戈·里瓦斯 (Diego Rivas) 在媒体吹风会上表示：「实时功能最大的价值在于，它能让创作者保持流畅的创作状态。例如，在创意构思和故事板制作阶段，或者任何需要快速产生创意的场景中，这项功能都非常有用。」 谷歌还提供 AI 视频生成模型 Veo，可以根据文本、图像或视频提示词生成带有同步音频的高清视频片段。这款工具正越来越受到电影制作人的欢迎。 里瓦斯补充说，未来用户或许可以借助 Gemini Omni，将这些原型转化为可用于创作的素材。Gemini Omni 是一款多模态大语言模型，能够根据图像、音频和文本生成视频。不过，他表示，实现这些功能仍需要一段时间。 在整场媒体吹风会上，里瓦斯反复强调， Genie 4 现已面向受信任的测试人员推出研究预览版。未来几周，该模型将通过 Project Genie 向 Google AI Ultra 订阅用户开放，同时也将向 Gemini API 和 Google AI Studio 的早期合作伙伴提供。Project Genie 是谷歌推出的一款 AI 工具，可以根据文本或图像提示词生成可交互的虚拟世界。(作者 / 箫雨) 谷歌发布新世界模型 Genie 4：可生成实时音频与更逼真的交互世界 _ 腾讯新闻