各向异性表示提升JEPA世界模型规划性能

Hugging Face Daily Papers 论文

摘要

本研究提出AnisoWM,该方法通过使用具有可学习协方差的各向异性表示来改进JEPA世界模型中的规划,从而实现更佳的任务对齐规划成本并增强在视觉控制环境中的性能。

潜世界模型在表示空间中学习动作条件动态,并常通过到目标表示的欧几里得距离来评估候选动作。联合训练通常对表示进行正则化以防止坍塌,但由此产生的表示几何也决定了规划过程中终端误差的加权方式。我们证明,准确的预测和非坍塌表示并不能保证任务对齐的潜在规划成本:各向同性高斯正则化可能诱导出一种几何结构,其对可行结果的排序与任务成本不同。为了解决这种不匹配,我们提出带有ΛReg的AnisoWM,它用固定迹和各向异性约束下的可学习对角协方差替代固定的各向同性高斯目标。预测目标、预测器架构和欧几里得规划器保持不变;目标仅在训练期间使用。我们的分析描述了预测驱动的目标方差分配、其对训练分布的依赖性,以及诱导度量减少规划遗憾的条件。在四个视觉控制环境中,AnisoWM在所有四个环境中都提高了规划成功率。其潜在规划成本也显示出与任务结果更好的一致性。项目网站:https://rkdrn79.github.io/AnisoWM-page/
查看原文
查看缓存全文

缓存时间: 2026/09/30 04:19

论文页面 - 各向异性表示提升JEPA世界模型中的规划能力

来源:https://huggingface.co/papers/2609.37441

摘要

潜在世界模型在表示空间中学习以动作条件为前提的动态特性,通常通过计算候选动作到目标表示的欧几里得距离来评估其优劣。联合训练通常会对表示进行正则化以防止坍缩,但由此形成的表示几何结构也决定了规划过程中终端误差的权重分配方式。我们证明,精确的预测和未坍缩的表示并不能保证任务对齐的潜在规划成本:各向同性的高斯正则化可能诱导出一种几何结构,使得对可行结果的排序与任务成本产生差异。为解决这种不匹配问题,我们提出了采用Λ正则化的各向异性世界模型(AnisoWM),该模型用可学习的对角协方差矩阵替代固定的各向同性高斯目标,并施加固定迹和各向异性约束。预测目标、预测器架构和欧几里得规划器保持不变;目标仅在训练期间使用。我们的分析表征了预测驱动的目标方差分配特性、其对训练分布的依赖性,以及诱导度量降低规划遗憾的条件。在四个视觉控制环境中,AnisoWM在所有四个环境中均提升了相较于LeWorldModel的规划成功率。其潜在规划成本也展现出与任务结果更好的一致性。 项目主页:https://rkdrn79.github.io/AnisoWM-page/

查看arXiv页面 (https://arxiv.org/abs/2609.37441) 查看PDF (https://arxiv.org/pdf/2609.37441) 项目页面 (https://rkdrn79.github.io/AnisoWM-page/) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37441)

通过代理获取此论文:

hf papers read 2609\.37441

尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。

引用此论文的Spaces0

无Space链接此论文

在Space README.md中引用 arxiv.org/abs/2609.37441 即可从本页面链接。

包含此论文的合集0

无合集包含此论文

将此论文添加至合集 (https://huggingface.co/new-collection) 即可从本页面链接。

相似文章

D-JEPA:一种决策对齐的潜在世界模型

Hugging Face Daily Papers

D-JEPA 是一种决策对齐的潜在世界模型,它学习候选未来之间的决策相关关系,以改善操作和自动驾驶等任务中的动作选择,展示了显著的性能提升。