视频生成模型作为世界模拟器

# 视频生成模型作为世界模拟器 来源：https://openai.com/index/video-generation-models-as-world-simulators/ 本技术报告重点关注（1）我们将各类视觉数据转换为统一表示的方法，以支持生成模型的大规模训练，以及（2）对 Sora 能力和局限性的定性评估。本报告不包含模型和实现细节。 先前大量研究使用多种方法进行了视频数据的生成建模，包括循环网络、生成对抗网络、自回归 Transformer 和扩散模型。这些工作通常专注于特定类别的视觉数据、较短的视频，或固定尺寸的视频。Sora 是一个视觉数据的通用模型——它可以生成持续时间、宽高比和分辨率各异的视频和图像，最长可达一分钟的高清视频。 我们从大语言模型获得灵感，这些模型通过在互联网规模的数据上训练来获得通用能力。LLM 范式的成功在一定程度上源于使用了能够统一不同文本模态（代码、数学和各种自然语言）的 token。在本工作中，我们探讨视觉数据生成模型如何能够继承这些优势。虽然 LLM 有文本 token，但 Sora 有视觉**patch**。Patch 已被证明是视觉数据模型的有效表示。我们发现 patch 是一种高度可扩展且有效的表示方法，可用于在多种类型的视频和图像上训练生成模型。 Sora 是一个扩散模型；给定输入的噪声 patch（以及文本提示等条件信息），它被训练来预测原始的"干净" patch。重要的是，Sora 是一个扩散 **Transformer**。Transformer 在包括语言建模、计算机视觉和图像生成在内的多个领域已展现出显著的伸缩特性。 **长程一致性和物体永久性。** 视频生成系统面临的一个重大挑战是在采样长视频时保持时间一致性。我们发现 Sora 通常（虽然不总是）能够有效地建模短程和长程依赖关系。例如，我们的模型即使在人物、动物和物体被遮挡或离开画面时也能保持它们的存在。同样，它可以在单个样本中生成同一角色的多个镜头，在整个视频中保持其外观一致。