标签
AV-JEPA将LeJEPA扩展到音视频自监督学习，在潜在空间中实现跨模态对齐，无需解码器、对比负样本或复杂损失函数，并在VGGSound和AudioSet上取得了有竞争力的分类结果。
本文建立了联合嵌入预测架构（JEPA）中使用的SIGReg目标与主动推理框架之间的形式对应关系，表明在某些条件下，训练目标成为精确的变分自由能。它将非对比正则化器组织成一个熵估计器层次结构，并证明了理论结果，包括精确信息瓶颈和SIGReg保留的惊讶界。
作者复现了联合嵌入预测架构（JEPA）世界模型，并在《超级马里奥兄弟》上进行了训练，发现虽然该模型能很好地预测帧，但在长期规划方面表现不佳。
本文探索将JEPA风格的预测学习应用于JA4衍生的网络指纹，构建了一个基于Transformer的模型（JA4-JEPA），该模型在JA4、JA4H、JA4S和JA4X子字段上进行训练。该模型在协议族分类任务上取得了优异表现，表明JEPA目标可以用于紧凑的网络指纹表示。
本文提出SiamJEPA，它在JEPA模型中使用带有EMA教师网络的遮蔽孪生学生编码器，与单编码器变体和MAE相比，显示出改进的表示可分性和训练效率。
Micro-JEPA 是一个轻量级的JEPA（联合嵌入预测架构）Python实现，使智能体能够学习环境表征、在潜在空间中预测未来状态，并规划动作以避开障碍物。
Yann LeCun批评当前的LLMs并非真正智能，并描述了他的新公司AMI Labs正在开发的联合嵌入预测架构（JEPA），旨在创建更灵活、能够理解物理世界的人工智能。
Delta-JEPA 引入了一种无重建的世界模型，通过潜在差异动作解码器增强潜在前向预测，以防止崩溃并提高动作敏感性，从而在视觉连续控制任务上实现更好的规划性能。
介绍了VISReg，一种用于JEPA（联合嵌入预测架构）训练的正则化方法，它结合了方差（variance）、不变性（invariance）和Sketching约束。
在FAIR工作4.5年后，一名研究员加入AMI Labs，致力于JEPA和World Models的研究。
DVD-JEPA 是一个开源、极简的 JEPA 世界模型，它通过预测未来嵌入而非像素来从视频中学习表示。它使用弹跳的 DVD 标志来演示位置恢复、梦境生成和异常检测，所有这些都在浏览器中运行。
一位机器人研究员将当前的机器人研究方法比作2023年的语言模型格局，认为表示预测（JEPA）是最具可扩展性的方法，因为它可以利用像YouTube这样无需动作标注的视频数据，而其他方法需要动作标注的数据。
这篇博文解释了JEPA（联合嵌入预测架构）模型与典型相关分析（CCA）之间的联系，典型相关分析是一种源于1936年的统计方法，文章认为CCA是JEPA的概念前身，并指出在嵌入空间中最大化相关性的思想可追溯到Hotelling。
一份精心整理的关于Joint Embedding Predictive Architectures（JEPA）的论文、模型、代码、数据集和学习资源列表，这是Yann LeCun提出的用于世界模型的自监督方法。
本文提出了一种混合预训练目标，结合了JEPA潜在空间预测和MLM重建，用于语言模型，显示出改进的嵌入均匀性和语义-词汇平衡。
文章详细解释了世界模型的概念，将其与LLM对比，介绍了两大阵营（像素预测与意义预测）及Dreamer v3、GameNGen、Genie、JEPA等代表性工作，并讨论了在自动驾驶和机器人领域的应用，指出世界模型是物理AI的关键组件。
本线程展示了一个理论结果，表明预测抽象的潜在表征（如JEPA和data2vec）而非原始词元，可以指数级地缩小人工智能与人类学习之间的数据差距。
Basile Terver及其同事关于机器人学的联合嵌入预测世界模型（JEPA-WM）的论文已被TMLR收录，并获可重复性认证。更新版本包含新的数据扩展实验、多步展开训练的Lipschitz分析以及扩展讨论。
讨论了 Yann LeCun 近期 arXiv 论文中的 "World Models" 和 JEPA，澄清了它并非 LLM 的替代品，而是一个针对机器人、自动驾驶和工业控制等领域视觉处理优化的模型。