@rohanpaul_ai：在彭博社的一次采访中，Yann LeCun（@ylecun）解释了为什么LLMs在现实世界智能方面存在局限……

X AI KOLs Following 新闻
llm-limitations yann-lecun moravcs-paradox sensory-learning language-models ai-intelligence

摘要

Yann LeCun在彭博社采访中解释，LLMs之所以有限，是因为它们只处理符号文本，而现实世界的理解需要儿童自然获得的大量感官数据。他引用莫拉维克悖论来强调这一差距。

在彭博社的一次采访中，Yann LeCun（@ylecun）解释了为什么LLMs在现实世界智能方面存在局限。 “语言是对世界的一种非常近似、简化、量化和粗略的描述，而LLMs只能处理离散的符号序列。世界远比语言复杂。 最大的LLMs是在互联网上所有公开可用文本的总和上进行预训练的。这大约有20万亿个单词，即30万亿个token。 一个token大约3个字节。所以文本总量为10¹⁴字节。 这是一个四岁的孩子通过视觉在四年内看到的数据量。然而，这些文本需要40万年才能读完？ 因此，来自感官输入（如视觉、触觉等）的数据量远远超过语言所能承载的数据量。” 一个孩子不需要40万年的阅读来理解杯子、门、平衡、人脸、摔倒或热度，因为身体已经在通过视觉、触觉、运动和后果收集密集的反馈。 文本剥离了大部分这些信息。 它将鲜活的场景转化为符号，然后要求模型从人们描述世界所留下的痕迹中推断出缺失的世界。 这就是为什么一个LLM可以流利地谈论物理学，却对玻璃握在手中的脆弱感毫无天生认知。 莫拉维克悖论（Moravec's paradox）揭示了这种颠倒：人类认为高智商的事情对机器来说可能比幼儿不费吹灰之力就能做到的事情更容易。 困难的部分不在于产生答案，而在于构建一个能够承受重量、摩擦、意外和失败的世界模型。 ---- 完整视频链接在彭博社网站上。评论中附有链接。
查看原文
查看缓存全文

缓存时间: 2026/07/06 08:03

在彭博社的一次采访中，Yann LeCun（@ylecun）解释了为什么大语言模型在真实世界智能方面存在局限。

“语言是对世界的一种非常粗略、降维、量化且简化的描述，而大语言模型只能处理离散的符号序列。世界远比语言复杂得多。

最大的大语言模型是在互联网上所有公开文本的总和上进行预训练的。这大约包含20万亿个单词，或者说30万亿个词元（token）。

一个词元大约占用3个字节。所以总计约10^14字节的文本。

这是一个四岁儿童在四年间通过视觉所获得的数据量。而同样数量的文本，却需要40万年才能读完？

因此，通过感官输入（如视觉、触觉等）获得的数据量，远远超过语言所能承载的范围。”

一个儿童不需要40万年的阅读时间就能理解杯子、门、平衡、面孔、摔倒或热度，因为身体已经在通过视觉、触觉、运动和后果收集密集的反馈。

文本剥离了其中的大部分。

它将鲜活的场景转化为符号，然后让模型从人类描述世界所留下的痕迹中去推断缺失的世界。

这就是为什么大语言模型能流利地谈论物理学，却仍然没有天然的感知：手中易碎的玻璃杯有多脆弱。

莫拉维克悖论（Moravec’s paradox）正是对这种反差的命名：人类认为智力上困难的事情，对机器来说可能比幼儿不费吹灰之力就能做到的事情更简单。

困难之处不在于生成答案，而在于构建一个能够经受住重量、摩擦力、意外和失败的世界模型。

完整视频链接在彭博社网站。评论区附有链接。

Rohan Paul (@rohanpaul_ai): “1亿词元的上下文窗口已经可以实现，这大约相当于一个人一生中听到的单词量。唯一的瓶颈是实现推理支持。

而且AI模型实际上确实能在上下文窗口内学习，而无需改变权重。”

——Anthropic CEO Dario

相似文章