各向异性表示提升JEPA世界模型规划性能
摘要
本研究提出AnisoWM,该方法通过使用具有可学习协方差的各向异性表示来改进JEPA世界模型中的规划,从而实现更佳的任务对齐规划成本并增强在视觉控制环境中的性能。
查看缓存全文
缓存时间: 2026/09/30 04:19
论文页面 - 各向异性表示提升JEPA世界模型中的规划能力
来源:https://huggingface.co/papers/2609.37441
摘要
潜在世界模型在表示空间中学习以动作条件为前提的动态特性,通常通过计算候选动作到目标表示的欧几里得距离来评估其优劣。联合训练通常会对表示进行正则化以防止坍缩,但由此形成的表示几何结构也决定了规划过程中终端误差的权重分配方式。我们证明,精确的预测和未坍缩的表示并不能保证任务对齐的潜在规划成本:各向同性的高斯正则化可能诱导出一种几何结构,使得对可行结果的排序与任务成本产生差异。为解决这种不匹配问题,我们提出了采用Λ正则化的各向异性世界模型(AnisoWM),该模型用可学习的对角协方差矩阵替代固定的各向同性高斯目标,并施加固定迹和各向异性约束。预测目标、预测器架构和欧几里得规划器保持不变;目标仅在训练期间使用。我们的分析表征了预测驱动的目标方差分配特性、其对训练分布的依赖性,以及诱导度量降低规划遗憾的条件。在四个视觉控制环境中,AnisoWM在所有四个环境中均提升了相较于LeWorldModel的规划成功率。其潜在规划成本也展现出与任务结果更好的一致性。 项目主页:https://rkdrn79.github.io/AnisoWM-page/
查看arXiv页面 (https://arxiv.org/abs/2609.37441) 查看PDF (https://arxiv.org/pdf/2609.37441) 项目页面 (https://rkdrn79.github.io/AnisoWM-page/) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37441)
通过代理获取此论文:
hf papers read 2609\.37441
尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型链接此论文
在模型README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。
引用此论文的数据集0
无数据集链接此论文
在数据集README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。
引用此论文的Spaces0
无Space链接此论文
在Space README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。
包含此论文的合集0
无合集包含此论文
将此论文添加至合集 (https://huggingface.co/new-collection) 即可从本页面链接。
相似文章
@yingwww_: 温暖提示:你的世界模型永远不应该停止学习。介绍AdaJEPA,一个自适应的世界模型,可以规划、行动和适应……
AdaJEPA引入了一种自适应的潜在世界模型,该模型在测试期间通过闭环模型预测控制持续更新,显著提高了分布偏移下的规划成功率。
无需高斯分布:用于JEPA世界模型的对比逆动态方法
本文介绍了AC-MTM,一种对比逆动态方法,用于防止JEPA世界模型中的编码器崩溃,在多物体任务中无需高斯约束即可提升性能。
时序距离JEPA:面向潜在世界模型预测控制的规划感知表示学习
提出时序距离JEPA(TD-JEPA),从离线轨迹中挖掘有向时序代价,以改进潜在世界模型预测控制,在机器人环境中实现了更高的成功率。
潜在规划能否在点云中存活?基于动作条件的JEPA世界模型用于几何观测
本文研究了动作条件JEPA世界模型能否使用点云观测而非图像进行潜在规划,发现它们成功了,并讨论了对机器人几何感知的影响。
D-JEPA:一种决策对齐的潜在世界模型
D-JEPA 是一种决策对齐的潜在世界模型,它学习候选未来之间的决策相关关系,以改善操作和自动驾驶等任务中的动作选择,展示了显著的性能提升。