世界模型的功能分类

“世界就是所发生的一切。” —— 路德维希·维特根斯坦，《逻辑哲学论》，1921

世界不是由词语构成的。

在之前的一篇文章中，我们论证了空间智能是人工智能的下一个前沿，而世界模型是通往它的路径。在此，World Labs 团队和我希望更深入一层：在如今诸多被构建并称为“世界模型”的事物中，哪些功能模块实际上构成了这种能力——每个模块又是做什么的？

语言模型赋予了机器对概念、词汇和推理的非凡掌控力，但物理世界——无论是虚拟还是现实——运行在另一种基质之上。语言模型学习文本的统计结构，而世界模型学习空间和时间的统计结构：光线如何落在表面上、花园如何从某个没有相机拍摄过的角度呈现、物体如何响应力并遵循物理定律。

这使得“世界模型”成为当今AI领域最重要、也最被滥用的术语之一。计算机视觉、机器人学、强化学习和生成式AI都声称在构建世界模型，但各自所指却大相径庭。一个能生成华丽但物理上不可能的火焰的视频模型、一个即兴创作出可玩游戏的语言模型，以及一个忠实模拟燃烧过程的物理引擎，都被冠以同样的名称。

古希腊人从未就世界的构成达成一致——无论是火、水还是不可分的原子——因为“世界”从来就不是单一事物。它总是某个思想家需要推理的那个整体性的代称。AI继承了同样的问题，而此刻正是该领域需要精确性的时候。

分类法底下的循环

要消除这种混淆，首先要从一张比任何相关技术都古老的图开始。强化学习教科书，包括经典的Sutton和Barto，几十年来一直使用该图的某个版本来描述智能体如何与世界交互。这个图的正式名称是部分可观测马尔可夫决策过程（POMDP），而“世界模型”这一术语的原始定义正源于这一传统。

一个智能体——可以是人、机器人或软件系统——采取行动。这些行动影响世界的状态。智能体从不直接看到状态。到达智能体的是观测：落在视网膜上的光子、传感器的读数、视频帧中的像素。新的观测指导新的行动，循环继续。

“状态”一词需要解释，因为其含义随领域不同而变化。这不是化学家所说的状态（固、液、气），而是物理学家和机器人学家所说的状态：对某一时刻世界所发生一切的完整描述，包括每个物体、每个位置、每个速度、每个属性。状态是世界的底层现实；原则上完整，但内部任何智能体都无法直接看到。观测是智能体对该现实的部分视角。行动是智能体作为回应所做的事情。

这个循环——从智能体到行动，再到状态，再到观测，再回到智能体——正是赋予现代术语“世界模型”技术含义的结构。该短语本身更古老，可追溯到Kenneth Craik 1943年的提议：思维通过运行现实的“小尺度模型”进行推理，并在80年代末90年代初被带入神经网络。这个循环也解释了今天人们使用该术语的含义。如今被称为世界模型的不同事物，实际上是同一个循环的不同投影。每个都输出该循环的不同部分。

世界模型的三个功能

第一种世界模型是渲染器。 一个渲染器以像素形式输出供人眼观看的观测，最重要的质量指标是视觉保真度。** 将文本提示转化为电影级无人机镜头的视频模型就是渲染器。同样，像Google Genie 3或World Labs自己的RTFM这样的交互式系统，模型根据用户输入实时生成帧。该模型对三维结构没有明确的理解。它生成的是观看者会看到的东西，而不是真实情况。无人机镜头中的建筑从上方看可能无懈可击，但试图在下面的城市驾驶穿行时，它们就会崩溃。

第二种是模拟器。模拟器输出状态：一个在几何、物理或动力学上忠实于世界的表示，人类和计算机程序都可以在其上计算和交互。 渲染器的契约纯粹是视觉性的，而模拟器的契约是结构性的，要求几何能经得起检验，物理遵循牛顿定律，动力学按照物理定律应有的方式运行。模拟器同时服务于两类消费者。人类专业人士——如建筑师、设计师、电影制作人和游戏开发者——需要超越视觉合理性的准确性。计算机程序——如强化学习智能体、机器人控制器和自动驾驶车辆——将模拟器作为训练场，在其中大规模与世界交互，测试那些在现实中危险、昂贵或不可能运行的场景。

第三种是规划器。规划器输出行动。 给定观测和目标，规划器回答智能体下一步应该做什么的问题。这在很多方面是渲染器的逆过程。渲染器将行动作为输入并产生观测，而规划器将观测作为输入并产生行动，从而闭合感知-行动循环。视觉-语言-行动模型、基于模型的系统以及新一波的World Action Models都是规划器的尝试：那些能够在非结构化世界中决定机器人应该做什么的系统。

这三个类别描述了当今实际交付的大多数内容，它们之间的区别在实践中很有用。然而，这些类别并非根本分离。关于世界如何运作的相同底层知识——几何、物理、动力学——位于所有类别之下。一个能够从任何角度渲染杯子的模型，原则上应该能够模拟杯子被推时会发生什么，并规划一只手去拿起杯子。越来越多的有趣研究有意识地模糊这三者之间的界限。

GIF

为什么模拟器是关键

在三个类别中，模拟器获得的公众关注最少，却是三者中影响最重大的。本文旨在纠正这种不平衡。

渲染器在商业上最为成熟。 许多图像或文本转视频产品正在快速扩展消费或企业市场。Google的Nano Banana模型已将渲染器质量的图像生成交到可能数亿用户手中。技术是真实的，市场也是真实的。然而，渲染器优化的是视觉合理性而非物理准确性，这一上限至关重要。它们的输出很漂亮，但不能被信任用于设计建筑或训练机器人。

规划器最为引人入胜也最为初生， 与快速发展的机器人学习领域紧密相关。** 过去两年，该领域产生了在视频中看起来令人印象深刻的机器人演示，但需要坦诚说明这些演示实际展示了什么。几乎所有演示都局限于高度受控的实验室环境，物体集狭窄，任务周期短。没有任何一个在真实世界部署所需的复杂性、变异性或持续时间上得到验证。一个令人印象深刻的演示短片与一个能在厨房、仓库或手术室中可靠工作的机器人之间，差距仍然巨大。然而，商业赌注依然可观。一波资金充足的入场者正竞相推出通用规划系统，而最大的基础设施玩家正将规划定位在更广泛的模拟栈之上。一个能够规划的机器人就是一个能够工作的机器人，整个行业都在竞相成为第一个实现这一目标者。

模拟器是连接两者的桥梁。 如果语言是世界的抽象，像素是其投影，那么几何、物理和动力学就是世界本身。模拟器必须在这个层面上工作：即视觉外观（用于渲染器）和行动后果（用于规划器）都可以从其导出的结构骨干。

一个掌握了模拟的模型可以将其理解投射到像素供人类消费，并投射到行动预测供具身智能体使用。一个仅掌握渲染或仅掌握规划的模型，做不到这两者。其商业应用面极为广阔。仅NVIDIA的Omniverse就瞄准了该公司估计超过一万亿美元的可寻址市场，涉及工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶车辆测试、建筑可视化、工程和药物发现都依赖于某种模拟形态的东西。

该领域最困难的开放性问题也存在于那里。具有明确几何、材料属性和物理标注的三维数据，其稀缺程度比渲染器所训练的互联网视频高出数个数量级。模拟到现实（sim-to-real）的差距——即事物在模拟中与现实中行为方式的差异——仍然存在。生成式模拟器在此基础上引入了新的风险：AI生成的几何可能看起来正确，但包含自交或错误尺度，从而产生无意义的物理。大规模多物理模拟——刚体、可变形物体、流体和布料相互作用——其成本仍然比单领域模拟高出数个数量级。

在World Labs，Marble是我们进入这一领域的第一步。 它接受多模态提示（文本、图像、视频或空间草图）并生成可探索的3D环境，输出高斯泼溅用于视觉探索，同时输出碰撞网格供物理引擎操作。但随着渲染、模拟和规划之间的界限开始崩塌，Marble仅仅是整个领域正在编写的更长篇章的第一章。

边界正在崩塌之处与接下来的走向

但更多还在后面。当前该领域最重要的模式是三个类别开始相互融合。共同的洞见是：渲染一个世界、模拟它并在其中行动所需的知识在很大程度上是相同的。继续之前的例子，一个真正理解杯子如何放在桌子上的模型（其几何、材料属性、对力的响应等）应该能够从任何角度渲染该杯子，模拟杯子被推时会发生什么，并规划手去拿起杯子。这三个类别是对同一个底层理解的三种投影。

例如：来自多个机器人实验室的少量但不断增长的最新工作已经表明——至少在概念上——一个预训练的视频渲染器可以被用作联合世界与行动预测的骨干，从而建议了渲染器和规划器之间的桥梁，让同一个模型既能想象会发生什么，也能想象该做什么。World Labs的Marble已经从一个单一模型输出高斯泼溅和碰撞网格，消解了渲染器和模拟器之间的边界。每个层面都在从被动输出转向交互系统， 渲染器变得受行动条件约束，模拟器生成更可控和可编辑的世界，规划器则进行深思熟虑而不仅仅是反应。

其逻辑终点是一个统一的世界模型：一个基础模型既能渲染逼真的视图，又能产生物理上准确的结构，还能规划行动序列，根据下游消费者的需求在输出模态之间切换。 我们仍将面临许多艰巨的挑战。数据分布不均衡：渲染器有海量的互联网视频，而模拟器和规划器则面临3D资产和机器人演示的严重短缺。优化视觉美感可能会牺牲机器人或高保真模拟所需的精度。在单一架构内调和这些矛盾，是当今世界模型研究中定义性的开放问题，而这也是World Labs在持续演进Marble过程中所致力于的目标。

GIF

然而，方向是明确的。自80年代末以来该领域一直在下的同一个赌注——一个足够丰富的世界模型就是任何智能体观察世界、构建世界并在其中行动所需要的全部——如今正驱动着整整一代研究。使这个“大赌注”有分量的是已经正在发生的融合：三个线索，每个本身已经在驱动和塑造着数十亿美元的产业，最初作为独立的研究项目，现在开始表现得像一个整体。当它们之间的边界崩塌时，三者结合起来将重塑更宏大的东西：机器智能与其所栖居的物理世界之间的关系——空间智能的漫长弧线。

语言给了机器谈论那个世界的方式。世界模型是机器最终将如何理解、想象、推理并与世界交互的途径。