标签
Micro-JEPA 是一个轻量级的JEPA（联合嵌入预测架构）Python实现，使智能体能够学习环境表征、在潜在空间中预测未来状态，并规划动作以避开障碍物。
Yann LeCun批评当前的LLMs并非真正智能，并描述了他的新公司AMI Labs正在开发的联合嵌入预测架构（JEPA），旨在创建更灵活、能够理解物理世界的人工智能。
Delta-JEPA 引入了一种无重建的世界模型，通过潜在差异动作解码器增强潜在前向预测，以防止崩溃并提高动作敏感性，从而在视觉连续控制任务上实现更好的规划性能。
介绍了VISReg，一种用于JEPA（联合嵌入预测架构）训练的正则化方法，它结合了方差（variance）、不变性（invariance）和Sketching约束。
在FAIR工作4.5年后，一名研究员加入AMI Labs，致力于JEPA和World Models的研究。
DVD-JEPA 是一个开源、极简的 JEPA 世界模型，它通过预测未来嵌入而非像素来从视频中学习表示。它使用弹跳的 DVD 标志来演示位置恢复、梦境生成和异常检测，所有这些都在浏览器中运行。
一位机器人研究员将当前的机器人研究方法比作2023年的语言模型格局，认为表示预测（JEPA）是最具可扩展性的方法，因为它可以利用像YouTube这样无需动作标注的视频数据，而其他方法需要动作标注的数据。
这篇博文解释了JEPA（联合嵌入预测架构）模型与典型相关分析（CCA）之间的联系，典型相关分析是一种源于1936年的统计方法，文章认为CCA是JEPA的概念前身，并指出在嵌入空间中最大化相关性的思想可追溯到Hotelling。
一份精心整理的关于Joint Embedding Predictive Architectures（JEPA）的论文、模型、代码、数据集和学习资源列表，这是Yann LeCun提出的用于世界模型的自监督方法。
本文提出了一种混合预训练目标，结合了JEPA潜在空间预测和MLM重建，用于语言模型，显示出改进的嵌入均匀性和语义-词汇平衡。
文章详细解释了世界模型的概念，将其与LLM对比，介绍了两大阵营（像素预测与意义预测）及Dreamer v3、GameNGen、Genie、JEPA等代表性工作，并讨论了在自动驾驶和机器人领域的应用，指出世界模型是物理AI的关键组件。
本线程展示了一个理论结果，表明预测抽象的潜在表征（如JEPA和data2vec）而非原始词元，可以指数级地缩小人工智能与人类学习之间的数据差距。
Basile Terver及其同事关于机器人学的联合嵌入预测世界模型（JEPA-WM）的论文已被TMLR收录，并获可重复性认证。更新版本包含新的数据扩展实验、多步展开训练的Lipschitz分析以及扩展讨论。
讨论了 Yann LeCun 近期 arXiv 论文中的 "World Models" 和 JEPA，澄清了它并非 LLM 的替代品，而是一个针对机器人、自动驾驶和工业控制等领域视觉处理优化的模型。
Crys-JEPA 引入了一种用于晶体的联合嵌入预测架构，该架构学习了一个能量感知的潜在空间，在从头晶体发现方面实现了稳定性和新颖性的显著提升。
作者讨论了将Yann LeCun的JEPA（联合嵌入预测架构）应用于编码智能体，提出不应将代码视为文本，而应让智能体学习紧凑的状态表示并预测未来状态，可能比当前基于LLM的方法实现数量级的效率提升。
Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel，在基准测试中一致优于原始版本，改进幅度高达+10.7个百分点。
本文对联合嵌入预测架构（JEPA）在自然语言到正则表达式任务上的LLM微调进行了审计，测试了二十二个辅助目标。结果表明，隐藏状态表征的改进与解码任务准确率之间仅存在弱耦合，没有辅助目标通过族系校正。
Yann LeCun 离开 Meta 创办 AI 公司 AMI，专注于基于联合嵌入预测架构（JEPA）的世界模型，他认为 LLM 不是通往人类智能的道路，并批评当前范式缺乏预测和规划能力。
本文介绍了由五个传感器专用Mini-JEPA基础模型组成的舰队，用于水文智能，实现了高重建精度（R²高达0.97），并在通过LLM代理路由的物理匹配任务上超越了Google AlphaEarth通才模型。