LeCun对世界模型的看法

# 认识 Yann LeCun 的实验室与 2030 年的 AI 世界 来源：https://nebius.science/stories/meet-yann-lecuns-lab-and-the-ai-world-of-2030 这里没什么秘密，Yann LeCun 一边说，一边在一间阳光明媚、橡木色调的厨房里，站在一块写满涂鸦的白板旁拍照。这家厨房还兼任他新 AI 创业公司的神经中枢。他补充道，就算真有什么秘密，外人也不可能看得懂那些涂鸦。 自去年离开 Meta 后，这位图灵奖得主、纽约大学教授便将目光投向了巴黎。他在时尚的 Sentier 区的一个新兴创业集群中创立了 AMI Labs。AMI 是 Advanced Machine Intelligence（高级机器智能）的缩写，这家公司就藏在香水店和成衣精品店之间。LeCun 这位法裔美国科学家称，AMI 正在构建“面向真实世界的 AI”。 白板上的标记暗示了这一说法的含义：在一幅看起来像玫瑰的涂鸦上方，有一个预测性 AI 方案的双编码器草图。旁边是一个用于引导系统猜测走向正确答案的对比损失函数公式。附近还有一个矢量图，标注着“瓶子，打开”和“瓶子，关闭” —— 这是他最喜欢的例子，用以说明一个世界模型必须掌握什么才能预测各种行动的结果。 能够预见物理事件的后果，例如瓶子何时会翻倒洒出液体，机器何时会出故障，或者身体何时变得易受疾病侵袭，这可能会催生出应用看似无限的工具。LeCun 表示，他的系统最终将能让机器在首次尝试时就处理新的复杂任务，而无需数百万次的训练演示。就目前而言，还是人类在为 AMI 厨房里的酒柜补货。 就像早期的深度学习一样，世界模型是当季的热门话题，LeCun 笑着说：“每个人都声称自己在做，但没人知道它到底是什么。”他很乐意解释世界模型，这些实验性的 AI 系统与现在主导行业的 LLM（大语言模型）有着本质上的区别。这不仅仅是因为 LeCun 是一位出色的科学传播者，还因为世界模型是他最新——也可能是最大——的赌注。 这份信念促使他离开了担任了十多年首席 AI 科学家的 Meta。在他看来，这家社交媒体巨头过于执着于大语言模型，而他认为这本身无法通向人类级别的智能。如今，LeCun 的愿景使他几乎与整个领域背道而驰。该领域正不停地用他所质疑的架构取得一个又一个里程碑式的成就，而他自己的架构则仍留在实验室里。此外，这种投入也带来了个人代价。他工作得越努力，用于那些数十年来滋养其创造性另一面（即巴洛克音乐和电子音乐）的追求的时间就越少。 LeCun 所预见的未来，值得冒这个风险和做出权衡：那是一种能够在物理世界中规划、推理和行动的机器，它能学习自身行为的结构，而不仅仅是行为表象的样子。凭借 10 亿美元的投资和海量的算力支持（Nebius 是其中的关键供应商），LeCun 基于联合嵌入预测架构（JEPA）的模型已经开始产生有希望的结果。他说，再过几个月，AMI 就会开始在实际基准上测试这些模型。 他的模型会预测。他自己也会预测。LeCun 的世界现在围绕着预测和里程碑运转。就连 AMI 的白板上也赫然写着一个里程碑：“2027 年 1月，” 并被圈了起来。因此，当他坐下来进行这次访谈时，谈话自然就用未来时态展开了。窗外，法国正迎来夏季的第一波热浪。而在 AI 世界里，新闻也同样火热。 **人们经常问你关于 AI 未来，大多数人想知道十年后它会是什么样子。这很自然：一个花大部分时间开发联合嵌入预测架构（JEPA）的人，难免被视为预测架构师。但即使对你来说，我想，做十年预测也有点过分了。** 是的。 **但三年刚刚好。** 三到五年，是的。 **我想请你描绘一下不远的未来——2030 年。如果 2022 年标志着现代生成式 AI 的爆发，而今天我们正经历着大规模 AI 训练的时代，你会如何称呼 2030 年？** 面向真实世界的 AI。 而 2022 年的革命实际上发生得更早，至少对研究界的人来说是这样。它在 2022 年底成为公众瞩目的现象。公众对 LLM 如此热情，这让所有人都感到惊讶。这也让很多公司意识到这是一个市场。 但是，理解和生成语言是一回事，而理解和控制真实世界则复杂得多。我们在 AI 领域几十年前就知道这一点。这被称为 Moravec 悖论。该领域的一些人被 LLM 的进步所迷惑，忘记了仍与我们同在的 Moravec 悖论。 那些会做数学和编写代码的系统超级有用。但这并不是通往人类智能的道路。并不比 90 年代初期的神经网络高明多少。我认为，在未来四年左右的时间里，我们将看到另一场革命，它将打开通往真实世界事物的大门，而不仅仅是语言。那更具挑战性。那正是我想看到的革命。我很确定它会发生。 **你曾经说过，能像猫或老鼠一样聪明的 AI 系统将是一个真正的成就。你对 2030 年的估计是什么？猫、老鼠、昆虫？** 大概是那样的水平，在对物理世界的理解程度上，类似猫或老鼠。我们低估了动物的聪明程度，因为我们把对智能的印象与语言操控联系在了一起。这是完全错误的。 真正的智能包括理解世界上正在发生的事情，世界将如何演变，你的行为可能带来什么后果，这使得你能够规划一系列行动以达到特定目标。而这是 LLM 完全做不到的。 它们并没有什么不好的地方。它们很有用。只是它们缺少了关键的部分。而我们缺少的那些东西，就是世界模型。那些能够预测世界将会发生什么，以及一个行动会带来什么后果的模型。 **2030 年达到猫的水平，离人类水平还有点远，对吗？** 并不远。真的很接近了。 问题是：什么是能让系统运行这些世界模型并用它们进行规划的底层技术？我认为，我们会在未来几年内找到一种好的技术。 我们已经有了初步的有希望的结果。最大的问题是，一旦你有了这个，如何让它在机器人、控制工业流程的系统、或者通过观察学习复杂现象模型的系统中运作起来？这很可能进展得相当快。 但接下来还有个问题：要构建一个能够像人类一样学习和产生抽象概念的系统，需要哪些要素？我们不知道这需要多长时间。可能，一旦我们掌握了训练世界模型的基本技术，就很容易将它们规模化，并使它们能够处理更复杂的概念。 也可能比我们想象的要困难得多。可能需要十年或更长时间。但在未来两三年内，这个概念就会有实际应用。 **我们稍后再谈世界模型。我想问一下最近政府针对某些 AI 模型施加的限制。你预料到了吗？你认为这可能标志着未来几年 AI 行业更广泛危机的开始吗？** 嗯，危机已经存在了。有一种言论，一种安全主义的言论。比如说，AI 是危险的，正因为它危险，就不能让它掌握在每个人手中。这种言论在其他领域已经存在很长时间了。 印刷机发明时也有过类似的言论。它让人们能够接触到知识，这被认为是危险的。在 15 世纪，奥斯曼帝国禁止阿拉伯语使用印刷机长达 200 年。根据一些历史学家的说法，这实际上是奥斯曼帝国相对于西方衰落的一个主要因素。 如今，AI 是一种传播知识的方式。限制人们获取知识、智能或教育的想法是蒙昧主义。我在哲学上反对它。我认为这非常危险。 如果 AI 被美国西海岸的少数私营公司或中国控制，或者被我们今天刚看到的某些政府控制，那是很可怕的。那是民主的终结，是社会自由主义的终结。你的思想和你得到的所有信息都会被少数人控制。 让所有人都能使用 AI 可能确实存在一些风险。但这些风险与权力集中和信息控制的巨大风险相比，要小得多，小太多了。 **你认为到 2030 年，情况会演变成你刚才描述的那样吗？** 不，我认为存在抵制力量。大多数国家很可能会联合起来，打造开源、开放获取、开放权重、开放的 AI 平台。事实上，市场也在推动这一点，因为 AI 正在成为一种基础设施。 互联网就是这样，对吧？当某样东西成为基础设施时，市场就会施加压力，要求它变得开放和自由，因为它更具可移植性、更安全，也更容易部署。所以我认为 AI 也会发生同样的事情；这只是时间问题，也与地缘政治竞争有一定关系。 在我看来，除了美国和中国以外的政府，应该完全拥抱开源。这基本上是它们获得主权的门票。奇怪的是，美国政府，即使是现任政府，也相当支持开源；只是工业界不支持。 而中国目前实际上生产着最好的开源模型，这产生了一种非常奇特的效果。人们正在转向中国模型，因为它们是开放的。所以这种压力是存在的。 **让我们谈谈 JEPA。它与当前的模型有何不同？** JEPA 的基本思想是，我们观察到一个复杂的现象，它不是离散 token 的序列，不是语言，而是来自工业系统的传感器数据、视频或连续的高维带噪声信号。你无法使用生成式 AI 来理解它。原因是这些数据大部分是不可预测的。其中有噪声，还有高度复杂的依赖关系。如果你试图训练一个系统来预测视频中将要发生的事情，它根本无法预测每一个细节。对于一个给定的视频片段，存在着无限多种合理的延续方式。 当你告诉人们处理真实世界数据的方法不是使用生成式 AI 时，他们很难相信你。但这意味着什么呢？这意味着，系统不是预测信号的每一个细节，而是找到一种输入的抽象表示，使其能够进行预测。如果我拿起一个瓶子把它打翻，水会洒出来。你不可能精确预测水会流到哪里，但你不需要知道。你只需要知道它会洒出来。 你可能想大致预测它会朝哪个方向倒，会弄湿什么东西等等。但你无法预测每一个细节。即使你模拟一个复杂系统时也是如此。模拟器本应捕捉所有细节，但实际上它们做不到。 我们从不在此层面上进行模拟。我们抽象掉那些细节，找到一种让我们能够做出预测的表示。所以，你需要找到抽象概念才能做出预测，这个想法至关重要。而这是生成模型无法做到的。你必须使用 JEPA。 这有一个技术上的难点。当你训练一个生成模型时，你确切地知道要预测什么，因为你可以观察到视频或信号的后续部分。但是使用 JEPA，你让它预测一个由系统自身产生的表示。问题在于系统可能会崩塌。它可以选择忽略输入，产生一个恒定的表示。所以训练 JEPA 的所有复杂性都在于防止这种崩塌。 **你希望 JEPA 到 2030 年实现什么？你希望它能具备什么能力？** 有一些应用是相对短期的。我们正在与一些潜在的行业合作伙伴洽谈。这些合作涉及诸如提前预测故障或缺陷之类的事情。 如果你有一个关于复杂系统如何演变的良好模型，也许你就能预测系统何时会出故障。这被称为预测性维护。你还可以检测异常动态。如果某样东西坏了，你会看到系统的演变方式异常。这被称为新奇事物检测。JEPA 架构可以做到这一点。 然后是控制的问题。JEPA 可以转化为一个世界模型。世界模型的作用是：给定世界在时间 t 的状态，以及你可能会采取的一个行动或干预，它能预测系统在时间 t+1，或者一毫秒后，或者十毫秒后，或者一小时后 的状态。换句话说，它可以预测你所采取行动的后果。如果你有这样的世界模型，你就可以规划一系列行动以达到一个特定的状态。这是经典的最优控制。 想象一下，你有一个喷气发动机、一个化工厂或一条生产线。你通过传感器、视频和其他测量手段观察整个系统的状态。然后你对系统进行干预，并观察结果。根据这些数据，你训练出一个关于整个系统的整体现象学模型。一旦你有了这个模型，你就可以用它来驱动系统，朝着优化指标的方向运行。 对于喷气发动机，这可能意味着最大化使用寿命或可靠性，最小化二氧化碳排放，或最大化效率。对于生产线，目标不同，但原理是一样的。这是最优控制新时代的开始。 **这些是你在三年内就能预见到的 JEPA 的实际应用？** 可能还要更快。我们在一年左右就会有原型。我们将与几个合作伙伴合作，看看这可以应用于哪些工业领域。有些领域会很容易部署，其他一些会更困难。我们希望会有相当多的领域。 再长远一点，这可能会通向更通用的智能系统。当你需要一个系统来理解某个特定现象并能控制它时，你只需要对它进行一点预训练，把它接入系统，短时间内，它就能弄清楚如何最优地控制该系统。最终，这将导致像家用机器人、自动驾驶汽车和许多其他应用场景的智能系统的出现。 目前机器人行业有一个大秘密。很多公司都在制造机器人，包括人形机器人。但没有一家公司知道如何让它们变得足够智能，能够普遍有用。你可以收集足够的数据，让机器人在特定任务中有用。但最终，你希望机器人在你第一次要求它时就能理解一个新任务——这是人类，以及许多动物，完全有能力做到的。 一个纯粹通过模仿训练的系统将无法做到这一点。每次你想让它执行一个新任务，你就必须收集大量的人类演示，并训练系统去模仿它们。但是，如果系统无法预见自己行为的后果，它的能力将从根本上受到限制。 **你 2026 年的论文《LeWorldModel》表明，这种架构方法在实践中是可行的。下一个重大挑战是什么？** 有好几个。其中一个