Sub-JEPA:对LeCun团队的LeWorldModel的一个简单修复,可一致提升性能 [P]
摘要
Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel,在基准测试中一致优于原始版本,改进幅度高达+10.7个百分点。
**世界模型**学习紧凑的潜在表示以进行规划,无需像素重建。来自纽约大学LeCun团队的LeWorldModel(LeWM)通过对整个潜在空间施加各向同性高斯先验,实现了稳定的端到端JEPA训练。**缺陷:** 真实环境的动态存在于低维流形上,因此全局高维高斯先验过于严格,与任务几何结构不匹配。LeWM本身在低本征维度任务(如Two-Room)上表现最差。**我们的修复方案(Sub-JEPA):** 改为在多个冻结的随机正交子空间中应用高斯正则化。这放宽了全局约束,同时保持了防止崩塌的好处。无需新超参数,使用相同的双项目标函数。Sub-JEPA在所有四个基准测试中一致优于LeWM,在Two-Room上改进高达+10.7个百分点。我们还观察到更笔直的潜在轨迹和更好的物理状态可解码性作为涌现优势。  🌐 项目:[https://kaizhao.net/sub-jepa](https://kaizhao.net/sub-jepa) 💻 代码:[https://github.com/intcomp/sub-jepa](https://github.com/intcomp/sub-jepa) 📄 论文:[https://arxiv.org/pdf/2605.09241](https://arxiv.org/pdf/2605.09241)
相似文章
Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化
作者提出了 Sub-JEPA,这是一种利用子空间高斯正则化来提高 LeWM 等端到端世界模型稳定性的方法,在连续控制基准测试中表现出一致的性能提升。
@reza_byt: 世界建模借助JEPA最近因一种名为"SIGReg"的新型抗坍缩机制而获得关注(作者:@yl…
解释了SIGReg,一种针对JEPA的新型正则化器,通过迫使嵌入遵循各向同性高斯分布来防止表征坍缩,具有理论保证和简洁的训练循环。
那么,Yann LeCun 的 "World Models" 和 JEPA 究竟是什么?它真的能替代 LLM 吗?
讨论了 Yann LeCun 近期 arXiv 论文中的 "World Models" 和 JEPA,澄清了它并非 LLM 的替代品,而是一个针对机器人、自动驾驶和工业控制等领域视觉处理优化的模型。
@TheTuringPost: 来自@ylecun、@randall_balestr及其同事的一篇新论文,扩展了LeJEPA——这次应用于视频。LeVJEPA的目标是m…
LeVJEPA将LeJEPA扩展到视频以实现高效训练,仅使用一个编码器和投影器处理5%的视频块,在计算量显著降低的情况下匹配或超越V-JEPA 2。
无需高斯分布:用于JEPA世界模型的对比逆动态方法
本文介绍了AC-MTM,一种对比逆动态方法,用于防止JEPA世界模型中的编码器崩溃,在多物体任务中无需高斯约束即可提升性能。