论文页面 - Learning Transferable Dynamics Priors from Action to World Modeling

来源: https://huggingface.co/papers/2606.29501

摘要

动作条件的世界建模能够通过在大规模操作数据上的预训练来学习可迁移的动力学先验，从而支持基于仿真器的策略评估和视频-动作预测。

我们研究动作条件（https://huggingface.co/papers?q=action-conditioned）世界建模（https://huggingface.co/papers?q=world%20modeling）作为一种可扩展的方法，用于学习机器人学习的可迁移动力学先验（https://huggingface.co/papers?q=dynamics%20priors）。通过预训练（https://huggingface.co/papers?q=pretraining）一个模型来预测动作如何驱动视觉场景演化，所得的世界模型捕获了超越表观级视频生成的可复用交互动力学。具体而言，我们在大规模机器人操作（https://huggingface.co/papers?q=robot%20manipulation）数据上预训练了一个基于多视图交互（https://huggingface.co/papers?q=multi-view%20interactive）的扩散世界模型 A2World，并带有真实动作标注。我们从两个互补的角度验证了所学习的动力学先验（https://huggingface.co/papers?q=dynamics%20priors）。首先，我们将 A2World 适配为任务或场景专用的真实世界仿真器 A2World-sim，其长时间跨度 rollout 支持基于仿真器的策略评估和可扩展的假设分析，从而用世界模型 rollout 替代真实机器人 rollout。其次，从相同的预训练权重出发，我们将 A2World 适配为视频-动作联合预测（https://huggingface.co/papers?q=video-action%20joint%20prediction）模型 A2World-policy，该模型在视觉和指令条件作用下预测动作。在仿真基准和真实机器人环境中的实验表明，动作条件（https://huggingface.co/papers?q=action-conditioned）世界模型预训练（https://huggingface.co/papers?q=pretraining）所得到的可迁移动力学先验（https://huggingface.co/papers?q=dynamics%20priors）对以仿真器为中心和以策略为中心的机器人学习均有裨益。

查看 arXiv 页面（https://arxiv.org/abs/2606.29501）查看 PDF（https://arxiv.org/pdf/2606.29501）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.29501）

在您的 agent 中获取此论文：

hf papers read 2606\.29501

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2606.29501，即可从此页链接到该模型。

引用此论文的数据集0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.29501，即可从此页链接到该数据集。

引用此论文的 Space0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.29501，即可从此页链接到该 Space。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集（https://huggingface.co/new-collection）中，即可从此页链接到该收藏集。