Atlas：用于空间智能的世界模型

# Atlas：用于空间智能的世界模型 来源：https://www.worldlabs.ai/blog/atlas 世界模型能够生成、重建和模拟任何可能的世界。它们理解世界的呈现方式、行为模式和演变过程，从而使我们能够为创意用户渲染想象中的世界、高保真地模拟现实世界，并帮助机器人规划行动。在World Labs，我们致力于构建这些通用世界模型，以追求空间智能。 今天，我们推出了Atlas——我们的下一代世界模型。Atlas是一款全能模型，我们从头开始预训练，使其能够原生处理文本、图像、视频和3D数据。它是一种多模态自回归扩散Transformer：所有输入被整合到一个共享的空间上下文中。Atlas利用该上下文生成接下来的内容，确保与所见过的一切在三维空间上保持一致，并想象超越其视野的内容。Atlas的设计旨在实现扩展性：其性能随着训练计算量的增加而提升，我们预计随着持续扩展，这一趋势将得以保持。 Atlas可以执行涵盖世界生成、重建和模拟的广泛任务： - **相机控制生成** (https://www.worldlabs.ai/blog/atlas#camera-controlled-generation)：Atlas可以从一张或多张图像生成图像和视频，提供像素级精确的相机控制，输出分辨率高达1440p、时长1分钟的视频。 - **空间重建** (https://www.worldlabs.ai/blog/atlas#spatial-reconstruction)：Atlas可以从一张到数十张输入图像重建现实世界场景。它既可以从新视角生成图像帧，也可以输出显式的3D结果，在性能上超越了专攻3D重建的最先进模型。 - **时空模拟** (https://www.worldlabs.ai/blog/atlas#space-time-simulation)：Atlas从输入视频中建模空间和时间，重构视频以实现戏剧性的视觉效果，并为机器人应用提供Real-to-Sim (https://www.worldlabs.ai/blog/real-to-sim-to-real) 工作流。 - **图像生成** (https://www.worldlabs.ai/blog/atlas#image-generation)：Atlas可以从文本生成图像和360度全景图；它能够遵循复杂的提示词，渲染文本，并生成多种视觉风格。 Atlas将驱动Marble (https://marble.worldlabs.ai/) 的未来版本以及World Labs的其他产品。 ## 相机控制生成 https://www.worldlabs.ai/blog/atlas#camera-controlled-generation Atlas接收一张或多张参考图像，并在你指定的任意相机位置和角度生成新视角。生成的视角与输入图像的内容和几何结构相匹配，平滑地外推至输入图像未显示的场景部分，想象那些未被捕捉到的内容。 Atlas能够处理广泛的场景类型、视觉风格和相机运动。 视频可由一到六张输入图像结合手动设计的相机路径生成。 ### 像素级精确相机控制 https://www.worldlabs.ai/blog/atlas#pixel-perfect-camera-control Atlas将精确的相机几何结构作为原生输入类型，超越了基于粗糙文本指令的相机控制。这让你能够精确构图和控制每一个运动。 在此示例中，Atlas仅凭**单张输入图像**生成了完整的场景。它利用输入图像的内容及其广泛的世界知识，想象场景从新角度看到的样子。例如，它生成了机器人的背面，并推测泳池旁边应该有一片草坪。 仅凭单张图像，Atlas即可从任意角度生成视角。拖动可更改视角。 ### 基于空间上下文进行生成 https://www.worldlabs.ai/blog/atlas#generating-with-spatial-context 与LLM类似，Atlas首先将输入编码为上下文，然后根据该上下文生成输出。然而，Atlas的独特之处在于，每张图像都被锚定在三维空间中的一个位置；这就形成了**空间上下文**。 管理这种空间上下文，能够实现全新的创意控制。例如，你可以在上下文中放置两张不相关的参考图像，将它们定位在三维空间中，Atlas会生成一个在它们之间平滑过渡的世界。 这些示例展示了模型的世界知识和创造力；它想象出门户、走廊、角落以及原本不相关的输入图像之间的其他过渡方式。 选择左帧和右帧填充空间上下文，Atlas会将它们无缝拼接。 ### 可控长视频生成 https://www.worldlabs.ai/blog/atlas#controllable-long-videos Atlas通过结合相机运动和空间上下文管理，让你能够生成精确可控的长视频。你设计每一个场景和每一个相机角度。这让你成为导演：你在布置场景，而不是拉动老虎机的杠杆。 在下面的示例中，我们使用少量参考图像生成了一个1440p分辨率、1分钟长的视频。我们手动设计了穿越场景的相机路径，Atlas据此生成了一个连贯的世界。本页面上的其他视频已压缩以优化页面性能。 ## 空间重建 https://www.worldlabs.ai/blog/atlas#spatial-reconstruction Atlas可以从一张或多张输入图像重建现实空间。它不需要特殊的采集设备或数百个密集视角就能忠实地重建物体和场景。我们相信，Atlas在解决从稀疏输入图像合成新视角这一几十年来的计算机视觉基本问题上，迈出了重要的一步。 ### 从多张图像重建 https://www.worldlabs.ai/blog/atlas#reconstructing-from-multiple-images Atlas可以接受数量可变的场景输入视角。当场景的某些部分在输入视角中不可见时，Atlas会利用其丰富的世界知识，想象出一种合理的填补方式。 但有时你并不需要想象；你可能希望精确重建一个现实地点。传入更多输入图像为Atlas提供了更多上下文：它看到的越多，想象的就越少。Atlas通常仅需两到三张图像即可给出忠实的重建结果，超越了专为3D重建而训练的最先进的模型。然而，Atlas的空间上下文也可以利用超过一百张输入图像，从而能够忠实再现现实世界的环境。 在第一个示例中，Atlas仅凭一张地面照片就生成了场景的鸟瞰图。单张输入照片中可见的花园在模型输出中被准确重现，但场景的其余部分是想象生成的。在添加了花园旁边小屋的第二张现实世界输入图像后，模型的输出同时展示了花园和小屋，但它仍然将左侧的房子想象出来。在添加了主屋的第三张输入图像后，整个场景被准确描绘。 在第二个示例中，我们逐步构建了斯坦福大学的主方庭，从绿草如茵的主入口开始，到纪念教堂立面上装饰的彩色马赛克结束。尽管Atlas只接收了两到二十五张地面输入图像，但它能够生成从校园上空飞过俯瞰的鸟瞰路径。 ### 重建多样化路径 https://www.worldlabs.ai/blog/atlas#reconstructing-diverse-paths Atlas可以在同一场景中生成许多不同的轨迹，为同一输入图像提供全新的视角。无论你更改相机路径多少次，场景始终保持一致。 在下面的示例中，我们展示了给定一小组输入图像，Atlas可以生成穿越同一场景的多个相机路径。不同的相机路径可以强调场景的不同部分，或者通过改变速度、长度或复杂度来改变氛围。 Atlas可以利用一小组输入图像，在同一场景中生成多种不同的路径。 ### 显式3D输出 https://www.worldlabs.ai/blog/atlas#explicit-3d-outputs 在上述结果中，你已经看到Atlas输出2D图像和视频，这对某些应用来说已经足够。但机器人、游戏、设计、视觉特效等领域的工作流程通常需要显式的3D输出。Atlas原生支持处理2D图像帧和3D深度图，使其能够将世界作为点云或3D高斯泼溅输出。 从一张图像，Atlas生成新视角和3D几何结构，然后转换为3D高斯泼溅。 从单张输入图像，Atlas通过同时生成新视角并估计其几何结构，产生一个完整的3D世界。从真实空间的视频中，它预测每一帧的深度并将它们组合成3D重建。在这两种情况下，Atlas都会填补任何相机都未曾看到的区域。 Atlas可以从输入视频重建3D点云。 点云估计场景的几何结构，但3D高斯泼溅使其变得可用。Atlas填补剩余的空隙，并将点云转换成一个完整的泼溅场景，可以在设备端以高分辨率和帧率渲染。这与Marble (https://marble.worldlabs.ai/) 中使用的表示方法相同，使Atlas能够与我们其他产品自然集成。 ## 时空模拟 https://www.worldlabs.ai/blog/atlas#space-time-simulation Atlas充当世界模拟器。它既理解世界的空间结构，也理解世界随时间如何演变。将其空间和时间能力相结合，为视觉特效、机器人技术等领域带来了新的应用。 ### 重构视频 https://www.worldlabs.ai/blog/atlas#reframing-video Atlas将少数几个普通相机变成了“子弹时间”多视角捕捉工作室。仅凭三个相机的素材，Atlas就能冻结时间并重构镜头，让你从不可能的视角观看事件。 现实世界的视频可以从新的相机角度重构，无需昂贵的捕捉工作室。 值得注意的是，这些镜头不需要专业摄影师或专门设备。每一个镜头都是由几位工程师和研究员使用固定在三脚架和背包夹上的普通手机拍摄的。Atlas从三到五个相机视角重建场景，之后你可以随心所欲地重构镜头。 幕后花絮：上述片段仅使用几部手机和运动相机拍摄。 ### 机器人模拟 https://www.worldlabs.ai/blog/atlas#robotics-simulation Atlas为导航和操作领域的Real-to-Sim (https://www.worldlabs.ai/blog/real-to-sim-to-real) 扩展开辟了新途径。 你已经看到Atlas从几张图像以显式3D方式重建一个空间。对于机器人来说，重建只是一半的工作：当模拟机器人在空间中移动时，Atlas还会生成其传感器沿途会观测到的RGB和深度数据。世界及其机器人视角来自同一个模型。 在这些示例中，我们使用手机视频捕捉了两个大型环境，每个环境使用24帧进行重建。扫描此类空间传统上需要复杂昂贵的设备。然后我们模拟不同种类的机器人沿不同路径导航，并使用Atlas从机器人机身安装相机的视角生成图像。 Atlas重建空间并协助模拟机器人导航。 机器人操作更进一步。从一些随意的录制中，Atlas有助于构建一个还能捕捉物体如何移动和交互的模拟环境。一旦一个任务被模拟出来，你可以轻松地改变它：更换物体、它们的位置、机器人的动作、光照、背景。其结果是大规模的、多样化的机器人训练数据和测试环境。 Atlas能够仅从几段真实世界记录实现Real-to-Sim，重现刚体、铰接体和可变形物体的物理交互，同时支持可控的变化。 ## 图像生成 https://www.worldlabs.ai/blog/atlas#image-generation Atlas的主要焦点是世界建模，每一张图像都是通往一个可能世界的窗口。虽然图像生成不是其主要焦点，但Atlas是一个能力强大的图像生成器：它遵循复杂的提示词，渲染文本，并生成多种视觉风格。 Atlas还能根据文本或图像提示生成360度图像，同样能够生成多种场景类型和视觉风格。 ## 技术细节 https://www.worldlabs.ai/blog/atlas#technical-details ### 模型架构 https://www.worldlabs.ai/blog/atlas#model-architecture Atlas是一个全能模型，设计用于在单一统一架构中处理多种任务和多种输入输出数据类型，并将空间控制置于模型核心。这些目标要求我们脱离LLM和视频模型所采用的标准架构，设计一个全新的基础架构，作为未来世界模型的基石。 Atlas是一个多模态自回归扩散Transformer。其输入锚定在三维空间中以形成空间上下文，它根据该上下文生成多模态输出。 Atlas是一个**多模态自回归扩散Transformer**。它在多模态序列上操作，每次生成序列的一个新元素。这些架构特性中的每一个都为实现我们的目标协同工作，综合起来，它们实现了一种基于**空间上下文**的新生成范式。我们依次解析这些概念： - **多模态**：Atlas可以原生处理许多不同的数据类型。目前它可以处理文本、图像、相机位姿和3D深度图；视频被表示为图像序列。每张图像和深度图都基于一个显式的相机位姿进行条件生成，使空间控制成为架构的核心组成部分。 - **自回归**：Atlas在元素序列上操作，每个元素是上述多模态数据类型之一。每个输出一次生成一个，基于序列中较早的部分进行条件生成。这种灵活的设计天然适用于各种任务：每个任务只是不同类型的序列，输入之后跟着输出。 - **扩散**：Atlas是一个整流流模型，通过逐步去噪来生成输出。扩散模型擅长建模图像和视频等高维连续数据，并能通过改变推理时使用的去噪步数来自然地权衡速度和质量。 - **Transformer**：Transformer架构主要由大规模矩阵乘法运算组成，非常适合现代硬件。它是世界建模的稳健主干网络。 Atlas融合了现代LLM和视频模型的思想。它可以受益于这两种模型所使用的架构、算法和系统进步。 像LLM一样，它是一个自回归Transformer，因此可以利用用于服务和加速LLM的创新，包括KV缓存、缓存感知路由、分离式服务等。像现代图像或视频模型一样，它是一个潜在扩散模型，可以利用诸如扩散蒸馏、无分类器指导、偏移噪声调度以及VAE设计进步等算法。 ### 基准测试 https://www.worldlabs.ai/blog/atlas#benchmarks Atlas是一个用于世界建模的全能模型，执行多项任务。因此，没有任何单一基准测试能完全捕捉其通用性。我们重点展示了Atlas在两个关键任务上的定量评估：相机条件生成和3D重建。在这两项任务上，它都超越了更专业的模型。 我们针对相机条件生成任务，与一系列顶尖的视频模型进行了对比。在每次试验中，我们将单张输入图像与一到三个电影式相机运动（平移、横向移动、摇臂等）序列配对。 我们使用单张输入图像和目标相机路径提示每个模型。对于Atlas，我们使用其原生的相机输入格式对相机路径进行编码。其他模型不接受相机作为原生输入。