Sub-JEPA:对LeCun团队的LeWorldModel的一个简单修复,可一致提升性能 [P]

Reddit r/MachineLearning 论文

摘要

Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel,在基准测试中一致优于原始版本,改进幅度高达+10.7个百分点。

**世界模型**学习紧凑的潜在表示以进行规划,无需像素重建。来自纽约大学LeCun团队的LeWorldModel(LeWM)通过对整个潜在空间施加各向同性高斯先验,实现了稳定的端到端JEPA训练。**缺陷:** 真实环境的动态存在于低维流形上,因此全局高维高斯先验过于严格,与任务几何结构不匹配。LeWM本身在低本征维度任务(如Two-Room)上表现最差。**我们的修复方案(Sub-JEPA):** 改为在多个冻结的随机正交子空间中应用高斯正则化。这放宽了全局约束,同时保持了防止崩塌的好处。无需新超参数,使用相同的双项目标函数。Sub-JEPA在所有四个基准测试中一致优于LeWM,在Two-Room上改进高达+10.7个百分点。我们还观察到更笔直的潜在轨迹和更好的物理状态可解码性作为涌现优势。![](https://kaizhao.net/images/projects/sub-jepa/overview.png) ![](https://kaizhao.net/images/projects/sub-jepa/cube.gif) 🌐 项目:[https://kaizhao.net/sub-jepa](https://kaizhao.net/sub-jepa) 💻 代码:[https://github.com/intcomp/sub-jepa](https://github.com/intcomp/sub-jepa) 📄 论文:[https://arxiv.org/pdf/2605.09241](https://arxiv.org/pdf/2605.09241)
查看原文

相似文章