Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化
摘要
作者提出了 Sub-JEPA,这是一种利用子空间高斯正则化来提高 LeWM 等端到端世界模型稳定性的方法,在连续控制基准测试中表现出一致的性能提升。
查看缓存全文
缓存时间: 2026/05/12 07:33
论文页面 - Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化
来源:https://huggingface.co/papers/2605.09241 我们发布了 Sub-JEPA 🌐
LeWM(来自 Yann LeCun 团队)是第一个可端到端训练的 JEPA 世界模型——它使用各向同性高斯正则化来防止表征崩溃。简洁而有效。
我们的观点:潜在表征位于低维流形上,因此强制施加全空间高斯先验是一种过强的偏差。
我们提出了子空间高斯正则化:与其约束整个嵌入空间,不如将潜在变量投影到多个正交子空间中,并在那里应用高斯约束。简单的改变,更好的归纳偏置。
在 4 个连续控制基准测试上的结果始终优于 LeWM,性能增益与有效秩的降低相关——任务内在维度越低,增益越大。
相似文章
Sub-JEPA:对LeCun团队的LeWorldModel的一个简单修复,可一致提升性能 [P]
Sub-JEPA通过在冻结的随机正交子空间中应用高斯正则化来改进LeWorldModel,在基准测试中一致优于原始版本,改进幅度高达+10.7个百分点。
@reza_byt: 世界建模借助JEPA最近因一种名为"SIGReg"的新型抗坍缩机制而获得关注(作者:@yl…
解释了SIGReg,一种针对JEPA的新型正则化器,通过迫使嵌入遵循各向同性高斯分布来防止表征坍缩,具有理论保证和简洁的训练循环。
无需高斯分布:用于JEPA世界模型的对比逆动态方法
本文介绍了AC-MTM,一种对比逆动态方法,用于防止JEPA世界模型中的编码器崩溃,在多物体任务中无需高斯约束即可提升性能。
LeWorldModel:从像素出发的稳定端到端联合嵌入预测架构
LeWorldModel 提出了一种稳定的端到端联合嵌入预测架构(JEPA),可直接从像素进行训练,仅需极少超参数,并具有可证明的反坍塌保证。与基础模型相比,它在规划速度上实现了显著提升,同时在机器人操作任务中保持了具有竞争力的性能。
时序距离JEPA:面向潜在世界模型预测控制的规划感知表示学习
提出时序距离JEPA(TD-JEPA),从离线轨迹中挖掘有向时序代价,以改进潜在世界模型预测控制,在机器人环境中实现了更高的成功率。