精灵 4

# Genie 4：新一代世界模拟 来源：https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/ 今天，我们正式发布全新世界模型 Genie 4，它实现了前所未有的真实感，并提升了实时交互式模拟能力。Genie 4 原生支持多模态，能够在生成世界的同时生成音乐、环境音和交互式对话等音频。 Genie 4 模型整合并拓展了 Gemini 系列的能力：Gemini Omni 使模拟中的外观和行为以现实世界为基础，而其他 Gemini 模型则提供复杂的推理能力，帮助维持模拟的连贯性和连续性。 在此基础上，你可以触发一个事件，Genie 4 随即模拟接下来发生的事情：世界如何响应、发出怎样的声音，以及其中的人物如何移动、反应和说话。 理解和模拟世界是构建通用人工智能（AGI）的关键环节。Genie 4 提升了我们创建安全且变化无穷的模拟的能力，可用于从开发机器人和智能体的训练环境，到创造全新交互式体验等各种用途。 我们已开始向可信测试者开放 Genie 4 的研究预览版，在面向消费者和开发者发布之前收集反馈。首批开放对象将包括 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。点击此处（https://forms.gle/WQnSNEM3omF7Uruu7）加入 Project Genie 中 Genie 4 的候补名单。 Genie 4 带来了更强的照片级真实感、流畅的动作和原生音频。上方展示的所有配套声音均由 Genie 4 直接生成。 ## Genie 4 在四项关键能力上取得进展 以下内容是 Genie 4 实时交互的录屏，用户通过标准键盘操作进行导航和控制镜头，并使用文本提示在场景演变过程中引导场景。 ### 实时塑造世界模拟 借助 Genie 4，你可以使用自然语言实时修改模拟，例如改变天气、移动镜头，或引入新的人物或物体。Gemini 会结合上下文调整你的提示，使其与周围场景相匹配。在你两次输入之间，Gemini 也会监测并引导场景，让世界保持连贯地发展。 ###### 开启音频，聆听 Genie 4 世界的声音。 ### 推进物理与人类动作真实感的前沿 Genie 4 为实时交互式模拟树立了真实感的新标准。凭借对现实世界物理规律的深入理解，Genie 4 能够模拟空气动力学、碰撞等现实世界中的物理情景。 最显著的飞跃体现在 Genie 4 对人物的模拟上：它创建的角色动作自然，能够对环境做出自然反应，并且可以实时接受交互式引导。 ### 建模世界的声音 Genie 4 是我们首个能够原生生成音频的实时世界模型。每个世界都有与其场景相符的环境音，从风吹树林的声音到海滩上浪涛拍岸的声音。 然而，真正的前沿在于人类语音。Genie 4 引入了能够即时调整的交互式对话。角色会进行交谈，并对你的输入或世界中发生的事件做出反应，所有这些都实时发生。 ### 借助 Gemini 模型模拟复杂事件 将 Gemini 与 Genie 4 结合，为世界模拟增添了一层新的推理能力，使我们能够对复杂的多步骤事件进行建模，并在将 AI 系统应用于现实世界之前，测试它们如何应对不同环境。 为了实时实现这一点，Gemini 3.8 Flash 在循环中充当引导智能体：当 Genie 4 实时生成世界时，Gemini 持续观察场景，将目标分解为一系列步骤，并检查不断传入的画面，以跟踪进度并验证每一步是否成功。随着世界变化或用户介入，Gemini 会即时调整计划，从而实现具有可靠因果关系、程序化行为和多步骤推理能力的世界。 在探索这项能力的过程中，我们还一直在尝试结合 Gemini 4 Argon 和 Genie 4，将我们的前沿研究与 Gemini Robotics（https://deepmind.google/models/gemini-robotics/）相结合。 在下面的示例中，Argon 将用户指定的任务分解为多个步骤，交由 Genie 渲染。在模拟渲染过程中，这些步骤以文本描述的形式穿插输入 Genie 4。由于可以借助 Gemini 使用文本描述实时引导 Genie 4，这为随着任务逐步完成而调整模拟开辟了道路。这项能力为使用 Gemini 4 Argon 和 Genie 4 在想象的世界中模拟丰富多样的情景提供了一条路径。 Gemini 4 Argon 和 Genie 4 协同工作，将任务分解为实时步骤，模拟 Apptronik 的 Apollo 人形机器人下跳棋。 ## 来自可信测试者的经验 尽管 Genie 4 是一项重要的研究里程碑，但它仍处于早期实验阶段。为了了解交互式世界模型如何支持现实世界的工作流程，以及哪些方面仍需改进，我们一直在与来自创意行业、新闻、教育、游戏和工程领域的多组可信测试者合作。 测试者强调，照片级真实感、原生音频和实时引导能力的飞跃，使创意和概念能够转化为逼真的模拟，为各个领域带来了新的能力： - **创意指导**：创意工作者和技术人员正在测试将 Genie 4 用作预演和创意构思的快速“草稿模式”。例如，电影制作人可以进入场景的实时模拟中，实时进行多次“拍摄”，随时调整镜头角度、光照、对话和动作。 - **历史情景与沉浸式照片**：摄影记者正在探索如何在数秒内，将一张二维档案照片转化为忠实于原始环境的模拟。各团队正在测试，如何利用有人物活动的动态世界，帮助人们体验历史空间，或直观呈现山洪、野火等短期环境事件的发展过程。 - **交互式体验概念设计**：游戏开发者和创意技术人员正在测试使用 Genie 4，在数秒内将初步想法转化为可探索的原型，在编写任何引擎代码之前，通过自然语言提示测试视觉风格、材质美感和交互机制。 - **模拟**：除机器人研究外，各行各业的企业合作伙伴也正在评估将 Genie 4 用作快速“从零到一”生成情景的工具，并找出不足之处，以进一步改进 Genie，使其更好地满足模拟需求。 ## 未来工作：迈向混合世界模型 未来进步的一条有前景的道路是混合世界模型，它将代码和语言模型的逻辑化、结构化推理，与像素级模拟丰富的感官表征相结合。 让 Genie 和 Gemini 模型更紧密地协作，是朝这一方向迈出的早期一步。Gemini 在幕后梳理结构并规划叙事时间线，而 Genie 则生成即时的物理现实，逐像素渲染世界的外观、声音和响应。这些互补的优势相结合，有望催生一类全新的世界模型，其连贯性、可控性和对现实的贴合程度，远超任何单一路径所能达到的水平。 ## 负责任地构建世界模型 Genie 4 开辟了一个融合实时生成与照片级真实感的前沿研究新领域，带来了一系列新的能力和维度，我们希望以负责任的方式逐步开放并探索这些能力。Genie 4 包含严格的安全防护措施，与我们其他模型采用的安全政策保持一致。在推出此次预览之前，我们对 Genie 4 进行了严格的内部安全评估，以防止生成有害或恶意内容。此外，我们特意先向可信测试合作伙伴开放，以便在更广泛地发布模型之前获得早期反馈。 为保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID。这是我们的一项不可感知的数字水印技术，有助于识别视觉和音频模态中由 AI 生成的内容。 ## 了解当前的局限 Genie 4 仍是一个处于早期、不断发展的研究领域。 虽然它可以在较短的会话中保持环境连贯，但视觉细节和物体恒存性仍可能随时间发生变化或偏移，尤其是在模拟运行时间较长、经过多次复杂提示修改，或在整个场景中穿行时。复杂的物理交互、实时音频准确性、清晰可读的文字渲染、空间准确性和长期一致性，都是我们持续积极研究的方向。我们以预览形式分享 Genie 4，旨在与社区共同学习，并安全地推进交互式模拟的前沿。 ## Genie 4 的下一步 Genie 4 已作为研究预览版向可信测试者开放，并将很快面向 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴推出。点击此处（https://forms.gle/WQnSNEM3omF7Uruu7）加入 Project Genie 中 Genie 4 的候补名单。 我们期待用户很快就能进入其中，进行实验，并构建自己的交互式世界。 ## 致谢 Genie 4 的实现离不开以下人员的核心贡献：Hang Qi, Diego Rivas, Aleksander Hołyński, Inbar Mosseri, Jack Parker\-Holder, Shlomi Fruchter, Tejas Kulkarni, James Assiene, Philip Ball, Jakob Bauer, Eddie Cao, Lucy Chai, Harris Chan, Kleopatra Chatziprimou, Hao Chen, Yoni Choukroun, Mark Collier, Enric Corona, Kurtis David, Ariel Ephrat, Maxime Gazeau, Ruiqi Gao, Chelsee Glover\-Odom, Liangke Gui, Swaroop Guntupalli, Shan Han, Tingbo Hou, Jiri Hron, Hui Huang, Drew A\. Hudson, Zhouyuan Huo, Linyi Jin, Christos Kaplanis, Dhrupad Karwa, Eunyoung Kim, Congtao Kuang, Eliot Laidlaw, José Lezama, Hao Li, Shuang Li, Yuchen Liu, Hanzi Mao, Mark Matthews, Matt McGill, Kay McKinney, Ricardo Monti, Mark Murphy, Joseph Ortiz, Roni Paiss, Frank Perbet, Ben Poole, Tal Reiss, Konstantinos Rematas, Guy Scully, Jeremy Shar, Shashank Shastry, Sri S, Omer Tov, Ruben Villegas, Andrey Voynov, Hongjie Wang, Luyu Wang, Kaustubh Sridhar, Mo Samsami, Stephen Spencer, Yufei Wang, Will Whitney, Rundi Wu, Joyce \(Jingjing\) Xie, Jesse Yin, Shiran Zada, Serena Zhang, Xiaofan Zhang, Zhengqi Li, Zhixing Zhang, Yuan Zhong, Shuo\-yiin Chang, Dmitry Lagun, Ronny Huang, Yao Su, Ankush Gupta, Genzhi Ye, Haolin Jia, Weiqin Wang, Xi Xiong, Salah Zaiem, Carol Zheng, 。 Genie 4 也离不开合作团队之间的密切协作，我们感谢所有促成此次发布的跨职能合作伙伴：Dina Bashkirova, Emil Bergner, Greta Borisko, Irina Blok, Melissa Byun, Gabe Clapper, Viral Carpenter, Michael Y\. Chang, Maximo Cudich\-Sieburger, Chloe Doan, Alisa Fortin, Shivani Ghanta, Vikram Gopali, Ezra Gorman, Khyatti Gupta, Sam Hasinoff, Philipp Henzler, Hector Hinestroza, Ed Hirst, Tyler Holland, Kristian Holsheimer, Tiffany Hu, Kapil Joshi, Randeep Katari, Pavan Kumar, Vikhyat Kumeria, Sam Kvaalen, Matthew Levine, Yinxiao Li, Yuchi Liu, Miao Luo, Nick Matarese, Kangfu Mei, Signe Nørly, Moises Oliveira, Eric Paskie, Manika Puri, Susanna Ricco, Andrey Ryabtsev, Cai Schumann, Nicole Brichtova, Andy Sekyere, Grace Shih, Melissa Smith, Duncan Noble Smith, Kenda Stewart, Rod Strougo, Jenn Sturgeon, Amy Zeng, Gaby Pearl, Eleanor Tomlinson, Kenyon Watson, Inês Ayer, Luke Talbot, Han\-Yun Tsao, Guillaume Vernade, Karen Wang, Changchang Wu, Ian Wilkinson, Weijuan Xi, Jennifer Yick, Yunhan Zhao, Eric Zhang, Jason Zhang, Annie Zhou, James Zhou, Chris Walker, Alan Yam, Alex Chen, Cliff Lungaretti, Dan Motzenbecker, Kaloyan Kolev, Matthew Carey, Nate Zucker, Sam Lawton, Shashwath Santosh, Suz Chambers。 感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E\. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的深刻指导与支持。 最后，我们感谢可信测试者和早期访问用户提供反馈，帮助引导我们的研究向前发展。 ### Genie 4 ### Genie 3：世界模型的新前沿 ### 如何为 Genie 编写有效的提示词