世界模型或将改变一切（20分钟阅读）

# 世界模型可以改变一切 来源：https://weightythoughts.com/p/world-models-can-change-everything 破碎的木制机器人 (https://substackcdn.com/image/fetch/$s_!beYA!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0db1429f-1dd4-4f9b-9d76-6358881f3cb4_1536x1024.jpeg) 如果世界模型真的有效会怎样？某种程度上，我们所有的假设都会被打破。 LLM 能做到的一切，是因为它们拥有来自互联网、数十亿人的数字足迹……我们在现实世界中也能实现同样的事情。我们可以通过这些世界模型来缩短数据差距，引发一场堪比 2022 年 11 月 ChatGPT 闯入大众意识时的革命。 我们终于可以拥有《杰森一家》里的 Rosy 机器人管家，而不是那些功能有限的圆形/方形扫地机器人。我们可以拥有全自动厨房。或者全自动生产线。一切！ ……或者，也许这种现象只会*逐个应用地*发生……我认为这更有可能。*何时*发生则是更大的问题。事实上，我想说"何时"甚至都不确定。在我看来，这更接近于一个"是否"的问题。 现在，如果你正在问自己："什么是世界模型？它们何时能成为现实？"——那么请继续读下去。 今天，我要转发一篇我关于这个话题的客座文章的修改版本，该文章最初发表于 4 月 15 日的 AI Supremacy 通讯 (https://www.ai-supremacy.com/p/what-if-world-models-and-quantum-computing-complemented-llms-future-of-ai-2026)。如果你还没看过，一定要去 AI Supremacy 看看。Michael Spencer (https://open.substack.com/users/21731691-michael-spencer?utm_source=mentions) 对 AI 领域的各种话题都有很棒的报道。 作为个人新闻的简短插曲，非常感谢在 2026 Sonoma Valley Authors Festival (https://svauthorsfest.org/authors-speakers/) 见到我的每一个人！与我同台的所有杰出作者都让我深感震撼——包括一些我从小就读过的作者，比如 Doris Kearns Goodwin（优秀的传记作品数不胜数）和 Bryan Burrough（*门口的野蛮人：RJR 纳贝斯克的陨落*）。 在几乎*太多*的好消息中，*What You Need to Know About AI (https://amzn.to/4qCERMX)* 还获得了 2026 American Legacy Awards 的最佳非虚构新书奖 (https://www.americanlegacyawards.com/2026awardannouncement.html)。这对处女作来说是一项不可思议的荣誉，我仍然有些难以置信！ [](https://substackcdn.com/image/fetch/$s_!Wksm!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F46c0e232-af5b-43b9-af3b-517bf969bef1_5712x4284.jpeg) AMI Labs 是 Yann LeCun 在 Meta 工作十二年后，对 LLM 范式押下的 10.3 亿美元 (https://www.ai-supremacy.com/p/what-is-advanced-machine-intelligence-ami-labs)（种子轮）赌注。LeCun 被誉为现代 AI 教父之一，最近他批评 LLM 是一条"死胡同"。他认为，模型需要真正更好地理解现实世界的能力，才能达到 AGI 并更广泛地发挥作用。Fei-Fei Li 的 World Labs (https://techcrunch.com/2025/11/12/fei-fei-lis-world-labs-speeds-up-the-world-model-race-with-marble-its-first-commercial-product/) 也持有类似的观点。 资本正在涌入物理 AI。2024 年，World Labs、Skild AI 和 Physical Intelligence 各自融资数亿美元。到 2026 年初，融资额已突破十亿美元——World Labs 10 亿美元，AMI Labs 10.3 亿美元，Skild AI 14 亿美元。那篇关于 AMI 的文章 (https://www.ai-supremacy.com/p/what-is-advanced-machine-intelligence-ami-labs) 已经详细介绍了他们，这里不再重复。 我想做的是解释为什么这轮投资正在解决当前 AI 中一个真正深层的局限性——以及为什么挡在它面前的障碍，与我在 AI 创业公司护城河 (https://weightythoughts.com/p/what-is-defensibility) 背景下写过的动态相同。 [](https://substackcdn.com/image/fetch/$s_!1KJA!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe65085e3-bd2a-4b4c-8666-a011d4abc8b2_2400x2214.png) 我称之为数据摩擦。这既是世界模型重要的原因，也是它们可能比数十亿美元风险投资预期花费更长时间的原因。 在我的书 *What You Need to Know About AI (https://www.amazon.com/What-You-Need-Know-About/dp/B0FPC959TS)* 中，我与 Alejandro Piad Morffis (https://open.substack.com/users/6970039-alejandro-piad-morffis?utm_source=mentions) 交谈过，他是哈瓦那大学的计算机科学教授，专攻语言模型研究。Morffis 是一位计算主义者——他相信原则上没有任何东西能阻止计算机达到通用智能。但他强调当前的方法无法让我们达到那里。 他的核心批评是：LLM 从未真正"看见"任何东西。它们处理的是词语的统计影子——根据上下文变化的向量。没有物体的概念，没有物理世界的体验。只有语言中的模式。正如 Morffis 告诉我的："你无法通过阅读物理学来学习物理。你必须在世上做实验才能理解它是如何运作的。" 我自己的类比是，你无法真正向盲人解释颜色。当你只有文字时，某些根本性的东西就缺失了。对于一台除了语言之外*什么都没有*的机器来说——而且甚至不是所有语言，只是喂给它的特定文本集——这有多糟糕？它可以描述一切。它对所描述的东西完全没有体验。 LeCun 曾因此称当前的 AI"比家猫还笨" (https://www.wsj.com/tech/ai/yann-lecun-ai-meta-aa59e2f5?gaa_at=eafs&gaa_n=AWEtsqf5SFBHZGjyM35ae9-3gX3sgZ9eRsXw8HpXbvSXGixChY8XUHbVUshKxLucbzs%3D&gaa_ts=69cd6ae5&gaa_sig=th-LOvV4vnSwQ0w9tdG5Ra3FUnbT6P1x2Ryv6Fx0ZaXOW9T-2RoLEmsgoDaqy6YinzglNMtE71dJH1ynY4_Wfw%3D%3D)。显然，这是一句为了吸引眼球、制造点击量的言论。但观点仍然是正确的（公平地说，他在 AMI Labs 很久之前就这么说了）。猫会记忆、推理和规划。LLM 什么都做不到。而 François Chollet 的 ARC-AGI 基准不断让这一点变得触目惊心。 OpenAI 的 o3 在原始 ARC-AGI 上得了 87.5%。当 ARC-AGI-2 推出更难的全新谜题时，o3 最初暴跌至 3% 以下——而每个任务未经训练的人类都能解决。但一年内，前沿模型就追了回来：Gemini 3 Deep Think 现在在 ARC-AGI-2 上得分 84.6%。 然后 ARC-AGI-3 发布了……这彻底重置了局面。 [](https://substackcdn.com/image/fetch/$s_!KSxz!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4a827a1a-e9e6-4c06-b623-89618bc6105f_2400x1530.png) ARC-AGI-3 显著改变了形式。不再是静态网格谜题，它呈现的是交互式、回合制的环境——类似游戏的关卡，没有说明、没有规则、没有既定目标。你必须探索、弄清楚发生了什么、建立环境运作方式的心智模型，然后据此行动。每个关卡都是手工制作的，未经训练的人类都能在第一次尝试时完全解决。 Ryan K. Rigney (https://open.substack.com/users/3767101-ryan-k-rigney?utm_source=mentions) 对 ARC Prize Foundation 的总裁就这个话题进行了一次很棒的采访 (https://www.pushtotalk.gg/p/to-prove-we-havent-reached-agi-the)。ARC-AGI-3 其实就是一系列简单的复古风格游戏。（对 Ryan 来说这是非常合适的报道——他在游戏领域有着迷人的经历！） 很多人类得分 100%（当然有差异——有些人就是不擅长游戏——但中位数相当高）。所有前沿 AI 模型得分都低于 1%。ARC Prize 在发布时强调 0.26% 是前沿分数；在公开排行榜上，单个模型分数从 Gemini 3.1 Pro——同一系列在 ARC-AGI-2 上达到 84.6%——的 0.37% 到 Grok 的零分不等。 [](https://substackcdn.com/image/fetch/$s_!DzQn!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7620bf7e-599e-4612-812d-7854922f0d43_1022x526.jpeg)ARC Prize Foundation 的宣传图片。浅灰线是个人类表现，黄线是人类平均表现，绿线是最先进的 AI 模型。 这对我们的讨论很重要，因为 ARC-AGI-3 明确测试了世界模型应该提供的能力：探索新环境、建立其运作方式的内部模型、即时适应、并基于这种理解规划多步行动的能力。ARC Prize 将其描述为衡量"跨越时间"的智能——不仅仅是静态输入上的模式匹配，而是时间推理、探索和体验驱动的适应。换句话说，这是一个数十亿风险投资正在追逐的能力的基准。 在我的书中，Morffis 批评 AI 社区过于关注基准（他也在自己的出版物 (https://blog.apiad.net/p/the-four-fallacies-of-modern-ai) 中讨论过这一点）。 inevitably，我们会不断看到基准被制定……然后被"解决"。看到基准被击败不那么有趣——更有趣的是，我们总能创造出人类可以轻松解决、但 AI 无法解决的基准。 AI 通过暴力扩展不断在静态基准上追赶，但一旦你要求人类轻松做到的那种时间性、交互式推理……表现就会直接跌回零。猜猜真实的物理世界是由什么构成的？比简单的 2D 游戏复杂无限倍的时间性、交互式推理！ 这就是世界模型的知识基础。如果 LLM 无法从文本中学习物理，也许在视频和模拟上训练的模型——真正预测物理世界中发生什么事的模型——可以弥合这一差距。至少，这是这个想法。让我们谈谈为什么它如此困难……因为这并不是我们第一次尝试这种方法。 我花了很多时间思考是什么让 AI 公司具有护城河。简而言之，我以前写过，算法创新不是护城河。模型是商品化的。计算是资本的函数。AI 中唯一持久的竞争优势是专有数据——真正昂贵、竞争对手难以复制的数据。 我称之为*数据摩擦*——收集等价信息的成本、时间和复杂性。数字原生数据（网络文本、用户行为、点击流）的生成零摩擦。每个用户动作自动产生一个数据点。这就是为什么 LLM 能够如此扩展——整个互联网是它们的训练集，收集成本基本为零。 物理世界数据则不同。必须有人刻意记录它。传感器必须测量它。模拟信息必须转化为数字形式。测量引入误差。基础设施需要花钱。而且数据本身是垂直的——仓库物流的数据集对厨房机器人毫无用处。 更重要的是，它极其*昂贵*。 [](https://substackcdn.com/image/fetch/$s_!ATAJ!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9ea49dc4-1d70-47e9-90bc-c7e939a82727_2400x1431.png) 这种摩擦对 AI 创业公司来说通常是件*好*事。它创造了护城河。一家拥有多年医院合作专有临床数据的公司，拥有竞争对手无法通过开支票复制的护城河。收集数据的痛苦正是保护你免受竞争的东西。 但对世界模型来说，同样的摩擦是核心障碍。 LLM 需要大量多样化的文本数据来学习语言的统计分布。它们免费获得了这些数据，因为互联网已经作为人类交流的副产品生成了这些数据。世界模型需要等价物：大量关于物理世界如何运作的多样化数据。物体在受力时的行为。材料如何变形。液体如何流动。机器人的动作在三维空间中产生什么后果。 这些数据从哪里来？其实只有三个选项，而且都有问题。 - **视频**是最明显的答案。它不仅"最接近"LLM 吞噬互联网；它*就是*互联网的一部分。它是大量"免费"的、人类生成的内容，等着被（非法）获取！YouTube 每分钟大约有 500 小时的新内容上传——每天超过 70 万小时。但视频捕捉的是*观察*，而非*交互*。你可以观看有人把玻璃杯推下桌子。你得不到力向量、材料属性、表面的摩擦系数，或者精确轨迹。你看到了发生了什么……你得不到*为什么*发生的物理原理。 - **模拟**可以生成无限的交互数据——但仿真到现实的迁移是出了名的脆弱。在物理模拟器中完美运行的机器人，在真实地毯与瓷砖上、环境光照变化、或质量分布略有不同的物体上就会踉跄。域随机化和程序化生成让情况有所改善。但那是自动化补丁——它假设你提前知道哪些参数重要。你在机器人触碰现实之前，就把假设烘焙进了你的"现实"中。我就这个话题与 Cruise 仿真高级总监 Brandon Basso 进行了一次有趣的采访，关于自动驾驶汽车 (https://weightythoughts.com/p/from-simulation-to-streetself-driving)。这*确实*是现代自动驾驶的重要组成部分……但它是在我们 literally 有了数十年这些车辆上路数据之后才出现的（主要是人类驾驶，无论是 Tesla 还是 Waymo/Zoox/Cruise 等车队的情况）。 - **机器人遥操作**——人类引导机器人完成任务，同时记录力、位置和结果——是黄金标准。它也极其缓慢、昂贵和狭窄。每个仓库有不同的货架、不同的产品、不同的地面布局。每个厨房都不同。你无法在一个环境中记录一千小时就期望迁移到别处。这就是为什么这些数据如此宝贵……但收集起来又如此缓慢和痛苦。 世界模型最常见的赌注之一是，视频预训练能捕捉足够的隐式物理来启动世界模型，然后合成数据填补空白。 就我个人而言，我很希望这能成功。我厌倦了叠衣服，不介意欢迎一些能接管这项工作的机器人霸主。 但在那美好的场景发生之前，问题是观看一百万个玻璃杯从桌上掉落的视频，是否足以让你学会处理新物体在新表面上的重力。也许可以。我认为实际上还没人知道——对于数十亿风险投资来说，这是很大的不确定性。 特别困难的是这一点。传统自动化在标准化、受控环境中表现出色。汽车装配线的设计让每个零件以相同的方向在相同的时间到达。机器人只是执行预编程的序列。 但最需要自动化的行业恰恰因为*变化*而抗拒自动化。在建筑中，没有房间是真正方正的，没有两栋建筑是相同的。在仓库物流中，订单是随机的组合。在餐饮服务中，饮食偏好是无限的（芝士汉堡，但不要乳制品或麸质，谢谢！）。在驾驶中，儿童（和宠物）会跑到路上。 世界模型承诺像人类一样处理这个问题——通过理解底层物理，而非从训练集中进行模式匹配。