世界模型的定义与路线图

# 世界模型的定义与路线图 来源：https://arxiv.org/html/2607.06401 ###### 摘要 世界模型——即学习环境结构和动态的内部模拟器——已成为人工智能领域最活跃的讨论概念之一。从基于模型的强化学习和视频生成，到具身机器人技术，乃至最终的物理人工智能，人工智能各子领域的研究人员都在构建他们称为“世界模型”的系统，然而，对于世界模型的基本定义、应该预测什么以及如何构建，尚无共识。本观点文章提供了世界模型的科学定义、对其关键技术方面的讨论，以及开发有效世界模型的分阶段路线图。 ###### 目录 1. 1引言 (https://arxiv.org/html/2607.06401#S1) 2. 2什么是世界模型？ (https://arxiv.org/html/2607.06401#S2)1. 2.1定义与主要特性 (https://arxiv.org/html/2607.06401#S2.SS1) 2. 2.2智能体-环境循环 (https://arxiv.org/html/2607.06401#S2.SS2) 3. 2.3理解与预测：世界模型的两种视角 (https://arxiv.org/html/2607.06401#S2.SS3) 4. 2.4功能性分类：渲染器、模拟器、规划器 (https://arxiv.org/html/2607.06401#S2.SS4) 5. 2.5二维分类：功能与架构 (https://arxiv.org/html/2607.06401#S2.SS5) 6. 2.6超越物理环境的世界模型扩展 (https://arxiv.org/html/2607.06401#S2.SS6) 3. 3架构范式 (https://arxiv.org/html/2607.06401#S3)1. 3.1观测级生成式世界模型 (https://arxiv.org/html/2607.06401#S3.SS1) 2. 3.2潜在空间世界模型 (https://arxiv.org/html/2607.06401#S3.SS2) 3. 3.33D增强与物体中心世界模型 (https://arxiv.org/html/2607.06401#S3.SS3) 4. 3.4统一趋势：全模态世界模型 (https://arxiv.org/html/2607.06401#S3.SS4) 4. 4训练与学习范式 (https://arxiv.org/html/2607.06401#S4)1. 4.1自监督与生成式预训练 (https://arxiv.org/html/2607.06401#S4.SS1) 2. 4.2基于模型的强化学习 (https://arxiv.org/html/2607.06401#S4.SS2) 3. 4.3世界模型内部的策略学习 (https://arxiv.org/html/2607.06401#S4.SS3) 4. 4.4想象链：通过世界模型进行推理 (https://arxiv.org/html/2607.06401#S4.SS4) 5. 4.5物理启发与约束学习 (https://arxiv.org/html/2607.06401#S4.SS5) 6. 4.6反事实推理 (https://arxiv.org/html/2607.06401#S4.SS6) 7. 4.7长时域与分层规划 (https://arxiv.org/html/2607.06401#S4.SS7) 5. 5应用领域 (https://arxiv.org/html/2607.06401#S5)1. 5.1机器人技术与具身人工智能 (https://arxiv.org/html/2607.06401#S5.SS1) 2. 5.2科学发现 (https://arxiv.org/html/2607.06401#S5.SS2) 6. 6开放挑战与瓶颈 (https://arxiv.org/html/2607.06401#S6)1. 6.1数据不对称性 (https://arxiv.org/html/2607.06401#S6.SS1) 2. 6.2保真度与精度 (https://arxiv.org/html/2607.06401#S6.SS2) 3. 6.3预测误差累积 (https://arxiv.org/html/2607.06401#S6.SS3) 4. 6.4模拟到现实迁移 (https://arxiv.org/html/2607.06401#S6.SS4) 5. 6.5评估与基准 (https://arxiv.org/html/2607.06401#S6.SS5) 6. 6.6安全性、透明度与可持续性 (https://arxiv.org/html/2607.06401#S6.SS6) 7. 7路线图 (https://arxiv.org/html/2607.06401#S7)1. 7.1迈向统一多模态世界模型 (https://arxiv.org/html/2607.06401#S7.SS1) 2. 7.2迈向统一物理表示 (https://arxiv.org/html/2607.06401#S7.SS2) 3. 7.3基础规模交互式模拟器 (https://arxiv.org/html/2607.06401#S7.SS3) 8. 8展望：通往物理通用人工智能之路 (https://arxiv.org/html/2607.06401#S8) 9. 参考文献 (https://arxiv.org/html/2607.06401#bib) ## 1引言 “世界模型”这一术语积累了多样化的使用语境，其揭示的内容与其掩盖的一样多。早在1943年，craik1943nature提出，生物有机体通过在其思维中持有物理世界的“工作模型”来生存和繁衍。这些模型并非完全依赖缓慢、试错式的物理交互，而是使思维能够模拟假设情景，预测候选行动的结果，并预先计算最优策略——这种算法实例化正是我们今天所称的“世界动作模型”的正式实现。Craik的假设支撑了一些重要的人工智能架构，如强化学习智能体和生成模型(sutton2018rl)。这一概念在计算机视觉、机器人和生成建模领域被广泛引用，通常用于描述截然不同的系统。最近最具影响力的区分尝试是Fei-Fei的功能性分类，它将世界模型分为三类：渲染器（生成像素）、模拟器（预测状态转移）和规划器（提出动作）(worldlabs2026taxonomy)。这种功能性分类进行了有用的澄清，但其根本局限性在于它分类的是表示的解码（即投影），而非表示本身。一个统一的内部模型可以根据调用的查询接口解码为RGB像素、状态向量或候选动作方案。该分类指定了世界模型输出的内容，但没有定义内部模型是什么或如何构建。上游问题——如何构建支持所有三种解码的共享内部表示——对于功能性分类来说仍然是一个问题。另一种竞争性观点，最突出地由lecun2022path阐明，认为生成式重建从来不是正确的目标：在潜在空间中进行预测的联合嵌入架构就足够了，而像素级重建在光度无关的信息上浪费了表示能力。虽然我们同意精确的像素级重建不应成为世界模型的最终目标，但重建质量是追踪压缩表示未能保留的信息的好方法。最终，验证重建对世界建模有多重要的唯一方法是通过测试。与压缩表示相关，现在人们普遍认为大型语言模型（LLM）在压缩人类语言知识方面表现出色。类似地，世界模型实例化了一种统一的压缩机制，其核心目标是最大限度地压缩真实世界物理感官观测和智能体动作的联合分布。有损压缩在连续谱上产生了不可避免的表示权衡：潜在表示可能倾向于紧凑的高层语义抽象，或者优先考虑细粒度的物理动力学和感知保真度，所有实际的世界模型都处于这两个极端之间的平衡位置。这种以压缩为中心的观点可能更好地捕捉了当前工作的架构决策、数据约束和经验瓶颈。 #### 数据决定上限 我们从既简单又具有深远影响的假设开始：任何智能系统在物理世界中泛化能力的上限，由其训练数据中物理经验表示的多样性决定。在固定的架构和计算预算下，是数据多样性决定了这一上限，而不是模型结构或训练超参数。架构和计算影响接近上限的效率，但它们无法提高上限(hoffmann2022training)。目前唯一能够扩展到所需多样性的物理数据源是开放的互联网：图像、视频和文本，数量达数千亿个示例。专有数据源——灵巧操作数据集、第一人称具身记录和外骨骼安装的传感器——在多样性和规模上都受到结构性限制。在可预见的未来，没有任何硬件部署能产生互联网规模的操作数据。为了实现类似于能泛化到物理世界的“世界模型”，我们必须从已有数据中提取最大限度的物理理解。特别是，互联网视频作为一种前所未有的大规模自然语料库，隐式地编码了广泛的结构化物理世界知识。嵌入在日常视频原始像素流中的是支配我们物理现实的基本先验：物体恒存性（物体在视野之外的持续存在）、刚性和非刚性约束（区分固体与可变形材料）、物体运动和交互的运动学限制、光照和阴影的时间动态、遮挡与解除遮挡的因果逻辑、事件的分层因果链，以及类人动作和交互的结构化先验。核心挑战在于，所有这些物理结构在原始像素空间中仍然是潜在且不可访问的。我们在图1 (https://arxiv.org/html/2607.06401#S1.F1)中引入了倒金字塔工作流，它解决了上述核心挑战。虽然原始互联网视频包含埋藏在未标记像素中的潜在物理先验，但专有机器人硬件自身无法生成具有可比规模和多样性的数据。通过以互联网无与伦比的广泛真实世界物理画面为基础，该管道首先通过自动过滤和注释解锁这些潜在的隐式物理知识，通过无与伦比的数据多样性提高世界模型的泛化上限。随后的漏斗化作为精度蒸馏步骤：它剥离无关的视觉内容，合成标准化的动作表示，只保留机器人所需的物理上有意义的运动和交互信号。最终紧凑且任务对齐的真实世界数据集使模型能够高效收敛于具身操作任务，而不会牺牲从数十亿网络视频中提取的广泛物理先验。架构和计算仅控制模型学习的速度，但这种倒置管道扩展了训练语料库的基础物理经验多样性——提升了世界模型在未见过的真实世界物体、运动和因果场景中泛化的硬性上限，而这些是有限的、小规模专有机器人数据集无法捕捉的。 参考图注图1：此图展示了用于机器人和物理世界模型训练的数据金字塔倒置漏斗管道，从大量非结构化公共媒体到紧凑、任务优化的机器人训练数据。最宽的上层是网络数据源：非结构化、多样化的公共视频，代表数十亿条人类物理交互的原始像素流。漏斗变窄进入中间层，合成与过滤数据集：经过大幅修剪并针对目标机器人动作和特定操作任务进行精炼和合成的子集。最窄的底层产生真实世界任务数据：一个经过高度精心策划的小型数据集，完全为端到端机器人训练优化，足够紧凑以进行高效的具身模型微调。 #### 世界模型作为压缩机制 高维视频观测主要由任务无关的光度方差主导：视角、光照、纹理、传感器噪声和背景杂波的变化掩盖了潜在的物理规律。原始像素不携带任何对恒存性、因果性或约束的显式表示；它们仅编码表面外观，而非产生视觉信号的生成性物理结构。因此，提取这些隐式物理先验需要一个专用压缩机制：能够将高维、嘈杂的视频观测蒸馏成紧凑、强大、语义结构化的表示。这种压缩的核心功能不仅仅是降维，而是有针对性的信息保留：它必须精确保留下游物理推理和控制所需的结构化因果和物理信息，同时系统地丢弃支配原始像素数据的无关光度噪声方差。我们认为，这是世界模型定义性的基础任务——其核心纯粹是一个压缩问题，而不是生成或模拟问题。生成和模拟是从良好压缩表示中涌现出的下游能力，但它们本身不是目标；世界模型的核心目标是解决信息论问题：将来自高维感官数据的隐式物理知识蒸馏成可用、紧凑的形式。 ## 2什么是世界模型？ ### 2.1定义与主要特性 参考图注图2：世界模型的性质及其主要特性说明。在本节中，我们明确定义世界模型的概念，特别是从物理世界建模的角度，并概述其基本特性。虽然宇宙中所有物质和波的状态转移过程客观存在，但驱动这些物理过程的自然计算能力是难以想象的巨大。由于人类工程系统无法复制这种无限复杂性，我们建立以下形式化定义。 ###### 定义2.1（世界模型）。世界模型是在有限计算资源约束下构建的物理世界状态转移过程的压缩建模。¹¹¹注意，根据定义，本文中使用的“世界模型”一词与“物理世界模型”含义相同，可以互换使用，但这并不意味着“世界模型”与其他文献中的“物理世界模型”相同，例如交互式/3D几何一致性视频生成模型。如图2 (https://arxiv.org/html/2607.06401#S2.F2)所示，在这些固有计算约束下运行，通用物理世界模型固有地具有三个主要特性： - •全模态工作范围。世界模型必须具有跨所有感知模态建模数据的能力。它不仅限于文本或视觉，而是根本上的全模态基础模型，能够进行统一的潜在表示。 - •多维异步性。由于有限的计算和感知资源，物理世界多个维度感知到的数据以不同频率采样。因此，世界模型必须能够处理多维、异步（多频率）序列数据。 - •局部性。由于智能体的感知受其资源限制，其收集的数据通常局限于局部区域。外部区域不断影响这个局部区域，充当干预。因此，从局部视角建模世界通常被形式化为部分可观测马尔可夫决策过程（POMDP）。要理解这种局部、全模态近似的必要性，我们必须审视当前模型如何试图回答关于现实的问题。如今主导人工智能领域的世界模型——无论是潜在空间预测表示、游戏智能体的强化学习模型，还是具身模拟的视频预测模型——都被一个共享的生成框架统一：给定当前观测，接下来会发生什么？真正的物理世界模型重新定义了整个范式。基本问题从“会发生什么？”转变为“正在发生什么？为什么会发生？以及会发生什么？”这需要认知推理²²²认知推理指的是评估知识、信念状态等的逻辑过程。