《ANCESTRA》背后的故事：Veo 与真人电影制作的融合

# 《ANCESTRA》幕后花絮：将Veo与真人电影制作相结合 来源：https://blog.google/innovation-and-ai/models-and-research/google-deepmind/ancestra-behind-the-scenes/ 我们与达伦·阿罗诺夫斯基、伊丽莎·麦克尼特以及200多人的团队合作，使用Veo和真人电影制作技术制作了一部电影。 ## 综合概述 Google DeepMind与Primordial Soup合作制作了短片《ANCESTRA》，该片将在翠贝卡电影节首映。该影片将真人实景与Veo（Google的视频生成模型）生成的视频相结合。Google DeepMind开发了新的Veo功能，以实现个性化、精确的运动匹配，以及真人实景与生成视频的混合。 摘要由Google AI生成。生成式AI处于实验阶段。 ## 要点 - 《ANCESTRA》是一部将真人实景与Google DeepMind的视频生成模型Veo相结合的短片，将在翠贝卡电影节首映。 - Google DeepMind与Primordial Soup合作，将生成式AI交到电影制作人手中，推动叙事和技术的边界。 - Gemini、Imagen和Veo被用于根据情绪、色彩和情感生成镜头，使用照片作为灵感。 - 开发了新的Veo功能，用于个性化视频、精确运动匹配，以及真人实景与生成视频的混合。 - 生成式AI补充电影制作，赋予艺术家克服限制、创建困难或昂贵场景的能力。 摘要由Google AI生成。生成式AI处于实验阶段。 #### 探索其他风格： 今天，伊丽莎·麦克尼特的短片《ANCESTRA》在翠贝卡电影节首映。这是一个关于一位母亲以及当她的孩子出生时心脏有缺陷会发生什么的故事。受麦克尼特本人出生的戏剧性事件启发，这部影片将母爱描绘为一种宇宙性的、救生的力量。 这是我们Google DeepMind团队与Primordial Soup之间[合作制作](https://blog.google/technology/google-labs/deepmind-primordial-soup-collaboration/)的三部短片中的第一部。Primordial Soup是由导演达伦·阿罗诺夫斯基创立的致力于故事叙述创新的新企业。我们创建这一合作伙伴关系是为了将世界上最好的生成式AI交到顶级电影制作人手中，以推进故事讲述和技术的边界。 《ANCESTRA》将真人实景与[Veo](https://deepmind.google/models/veo/)生成的序列相结合，Veo是我们最先进的视频生成模型。麦克尼特描述了她与我们技术合作的体验："Veo是我想象周围宇宙的另一个镜头。" 为了创作《ANCESTRA》，Google DeepMind组建了一支多学科创意团队，包括动画师、美术指导、设计师、编剧、技术人员和研究人员，他们与200多名传统电影制作和制片专家、真人实景摄制组和演员，以及编辑团队、视觉效果(VFX)艺术家、音效设计师和音乐作曲家密切合作。 ## 将我们最先进的生成式模型搬上银幕 当麦克尼特为《ANCESTRA》撰写剧本时，她与故事板艺术家合作，为真人实景场景进行视觉化，并与我们的团队合作为可能受益于AI生成的序列生成图像。 我们使用[Gemini](https://deepmind.google/models/gemini/)来开发提示词，使用[Veo](https://deepmind.google/models/veo/)和我们的图像生成模型[Imagen](https://deepmind.google/models/imagen/)来创建一系列潜在镜头，按情绪、色彩和情感进行组织。以下是我们如何规划和创建电影AI元素的详细说明： - **Gemini**：我们的团队上传了麦克尼特父亲拍摄的她出生当天的照片，并要求Gemini用精确的美学细节描述这些照片。这些描述成为了创建新图像和视频的提示词。 - **Imagen**：我们生成了电影的关键概念美术，定义了整体外观、风格和情绪。这些图像成为我们视频的起点。 - **Veo**：我们为生成的图像制作了动画，并编写了额外的文本提示词，用于指导动作和运动，以创建最终镜头。 ## 共同开发新的Veo功能 虽然Veo使得生成结合真人演员表演和逼真新生儿的生成视频成为可能，但它也带来了新的挑战。例如，麦克尼特希望生成的视频与她的真人实景场景的质量和色彩相匹配。她还需要控制生成视频的摄像机运动和主题。为了应对这些挑战，我们开发了几项新的Veo功能，以实现更大的个性化、精确的运动匹配，以及混合真人实景和生成视频的能力。 ### 个性化视频生成 我们的目标是生成与故事本身一样亲密和个人化的视频。例如，麦克尼特想要生成一个看起来逼真的子宫内婴儿的视频，同时控制美术方向、构图和运动。因此，我们微调了一个Imagen模型以匹配参考图像的风格。然后，我们与Gemini合作制作和改进提示词，以生成子宫内婴儿的逼真图像。最后，我们使用Veo的图像转视频功能将这些图像转变为动画场景。 通过微调Imagen模型，我们在AI生成婴儿的不同场景之间保持了特定和一致的美术方向。 四张不同的生成图像网格，显示婴儿在昏暗、浑浊的环境中漂浮——她闭着眼睛的脸、脚的细节、头部后方和胸部。 ### 运动匹配视频生成 在一个场景中，麦克尼特想带观众经历人体的旅程，最终到达子宫，展示通过剖腹产生下婴儿的过程。为了遵循这种精确的摄像机运动，我们创建了人体的虚拟3D模型，并通过在该模型中移动虚拟摄像机来记录场景的草稿镜头。然后我们使用Veo追踪草稿镜头的运动，并使用相同的运动生成新视频。我们用文本提示词指导生成的视频，直到实现麦克尼特心目中的镜头。 麦克尼特使用人体虚拟模型映射了她想要的摄像机运动。然后我们使用Veo的运动匹配生成具有相同运动的视频。 在另一个场景中，麦克尼特想展示一系列有机孔洞关闭，暗示婴儿心脏的缺陷。因此，我们给Veo这个运动的参考视频，并提示它在不同镜头间进行运动匹配。仅使用计算机生成影像(CGI)制作这些序列会很复杂且耗时，而且仅使用文本提示词很难控制运动。借助Veo的帮助，我们可以在短短几分钟内制作高质量场景。 我们给Veo一个带有所需运动的输入视频。然后，Veo将参考运动与文本提示词结合，生成一个新的运动匹配场景。 ## 混合传统电影制作和生成视频 使用传统VFX制作的婴儿图像存在看起来诡异的风险，而且导演很难获得他们心目中的确切表演，这是具有挑战性且耗时的。因此，对于出生场景，我们组合了演员的表演和生成的逼真新生儿以适应场景。首先，我们给Veo提供了真人实景视频、描述场景的文本提示词和定义的婴儿添加区域。然后，使用Veo的"添加对象"功能，我们将AI生成的婴儿图像添加到真人实景视频中——保持其他所有内容一致——并用传统VFX和色彩分级精化了镜头。 我们将生成的新生儿婴儿添加到真人实景视频，并用VFX和色彩分级精化了最终镜头。 ## 将生成视频添加到传统工作流 影片中的许多场景使用多个AI生成的图像和视频，使用传统电影制作工作流无缝合成。例如，我们创建了一个场景，显示日落时新孵化的鳄鱼蛋内部复杂的纹理。为了构建这个镜头，我们将多个生成的视频和图像与传统VFX合成技术相结合。 这个镜头捕捉了从刚孵化的鳄鱼蛋内部的视角，夕阳西下，保护性的母鳄鱼在附近。我们使用Veo和Imagen生成了关键视觉元素，然后在传统VFX管道中无缝合成，使这一特定的创意愿景栩栩如生。 ## 与电影行业合作讲述新故事 《ANCESTRA》是我们与Primordial Soup制作的三部电影中的第一部。此合作中的每部电影都由一位新兴电影制作人执导，受达伦·阿罗诺夫斯基指导，并得到我们团队的支持。 许多令人惊叹的电影已通过真人实景电影制作、CGI和VFX工具包创作。生成式AI可以补充现有的创意和制片工作流，使电影制作人能够通过难以拍摄或成本高昂的场景来克服实际限制。 通过与艺术家合作，我们确保正在构建的工具对专业电影制作人有用且根植于他们的需求。与麦克尼特和阿罗诺夫斯基这样的远见卓识者合作，帮助我们探索当今技术的创意潜力，并想象我们下一步可以创建什么。