Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化

Hugging Face Daily Papers 论文

摘要

作者提出了 Sub-JEPA,这是一种利用子空间高斯正则化来提高 LeWM 等端到端世界模型稳定性的方法,在连续控制基准测试中表现出一致的性能提升。

联合嵌入预测架构(JEPAs)通过预测未来的潜在表征,为学习世界模型提供了一个简单的框架。然而,JEPA 的训练受到偏差-方差权衡(bias-variance tradeoff)的影响。如果没有足够的结构约束,过度的表征方差会导致模型崩溃到平凡解中。最近的 LeWM 研究表明,只需对潜在嵌入施加各向同性高斯先验,即可缓解这一问题。然而,潜在表征本质上位于高维环境空间中的低维流形上,在此环境空间中直接强制施加各向同性高斯先验会引入过强的偏差。在本文中,我们提出了一种方法,通过在多个随机子空间中施加高斯约束而不是在原始嵌入空间中施加,以在偏差-方差前沿上寻求有利的操作点。这种设计在保持其防崩溃效果的同时放宽了全局约束,从而在训练稳定性和表征灵活性之间取得了更好的平衡。在四个连续控制环境中的广泛实验表明,该方法以明显的优势一致地优于 LeWM。我们的方法简单而有效,为未来的基于 JEPA 的世界模型研究提供了强大的基线。代码可在 https://github.com/intcomp/Sub-JEPA 获取。
查看原文
查看缓存全文

缓存时间: 2026/05/12 07:33

论文页面 - Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化

来源:https://huggingface.co/papers/2605.09241 我们发布了 Sub-JEPA 🌐

LeWM(来自 Yann LeCun 团队)是第一个可端到端训练的 JEPA 世界模型——它使用各向同性高斯正则化来防止表征崩溃。简洁而有效。

我们的观点:潜在表征位于低维流形上,因此强制施加全空间高斯先验是一种过强的偏差。

我们提出了子空间高斯正则化:与其约束整个嵌入空间,不如将潜在变量投影到多个正交子空间中,并在那里应用高斯约束。简单的改变,更好的归纳偏置。

在 4 个连续控制基准测试上的结果始终优于 LeWM,性能增益与有效秩的降低相关——任务内在维度越低,增益越大。

相似文章

LeWorldModel:从像素出发的稳定端到端联合嵌入预测架构

Papers with Code Trending

LeWorldModel 提出了一种稳定的端到端联合嵌入预测架构(JEPA),可直接从像素进行训练,仅需极少超参数,并具有可证明的反坍塌保证。与基础模型相比,它在规划速度上实现了显著提升,同时在机器人操作任务中保持了具有竞争力的性能。