那么,Yann LeCun 的 "World Models" 和 JEPA 究竟是什么?它真的能替代 LLM 吗?
摘要
讨论了 Yann LeCun 近期 arXiv 论文中的 "World Models" 和 JEPA,澄清了它并非 LLM 的替代品,而是一个针对机器人、自动驾驶和工业控制等领域视觉处理优化的模型。
这个话题有点晚了,因为[白皮书发布在 arXiv 上](https://arxiv.org/abs/2603.19312)差不多两个月前,但这里没人提过,所以我想还是说说。先说点背景。Yann LeCun 是深度学习和卷积神经网络的先驱,曾担任 Meta(前 Facebook)的 AI 研究总监和首席 AI 科学家,后来在[在 "有趣" 的](https://www.businessinsider.com/yann-lecun-alexandr-wang-criticism-inexperienced-meta-ai-future-2026-1)[情况下](https://www.businessinsider.com/yann-lecun-alexandr-wang-criticism-inexperienced-meta-ai-future-2026-1)离开 Meta,并于 2025 年成为 Advanced Machine Intelligence (AMI Labs) 的执行主席。他因对人工智能的基础性贡献而获得 2018 年 ACM 图灵奖。arXiv 论文中描述的 "LeWorldModel" 似乎不是[LLM 的 "替代品"](https://www.youtube.com/watch?v=6uW_GZdX1rU&t=67s)。AI 领域对此存在很多混淆。[在采访中](https://www.youtube.com/watch?v=ngBraLDqzdI&t=357s),Yann 非常明确地表示,他认为 LLM 仍然具有重要价值。这不是一个二选一的问题。总之,据我所见,JEPA 模型并非针对语言优化,而是针对[需要视觉处理的 AI](https://arxiv.org/abs/2506.09985),例如机器人、自动驾驶和工业控制。JEPA 不像 LLM 那样处理语言,它处理的是像素。总之,想知道这里是否有人有其他想法或不同意。
相似文章
Sub-JEPA:对LeCun团队的LeWorldModel的一个简单修复,可一致提升性能 [P]
Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel,在基准测试中一致优于原始版本,改进幅度高达+10.7个百分点。
编码智能体的未来是JEPA吗?[D]
作者讨论了将Yann LeCun的JEPA(联合嵌入预测架构)应用于编码智能体,提出不应将代码视为文本,而应让智能体学习紧凑的状态表示并预测未来状态,可能比当前基于LLM的方法实现数量级的效率提升。
@BasileTerv987: 已收录于TMLR,并获可重复性认证 我们的JEPA-WM研究第二版(arXiv:2512.24497)已发布,包含新的数据扩展实验…
Basile Terver及其同事关于机器人学的联合嵌入预测世界模型(JEPA-WM)的论文已被TMLR收录,并获可重复性认证。更新版本包含新的数据扩展实验、多步展开训练的Lipschitz分析以及扩展讨论。
Yann LeCun on Leaving Meta, Breaking The LLM Paradigm, & Why Hinton is Wrong
Yann LeCun 离开 Meta 创办 AI 公司 AMI,专注于基于联合嵌入预测架构(JEPA)的世界模型,他认为 LLM 不是通往人类智能的道路,并批评当前范式缺乏预测和规划能力。
LeWorldModel:从像素出发的稳定端到端联合嵌入预测架构
LeWorldModel 提出了一种稳定的端到端联合嵌入预测架构(JEPA),可直接从像素进行训练,仅需极少超参数,并具有可证明的反坍塌保证。与基础模型相比,它在规划速度上实现了显著提升,同时在机器人操作任务中保持了具有竞争力的性能。