论文页面 - Dream4ACT：面向多具身视频-动作建模的共享视觉动作接口

来源：https://huggingface.co/papers/2609.40153

摘要

视频生成模型（VGMs）为具身观察-动作建模提供了强大的时空先验。然而，关节空间的动作向量缺乏显式的图像空间结构，且在不同具身之间维度和语义各异，这使得直接利用 VGMs 丰富的时空先验变得困难。末端执行器的可视化提供了一种替代方案，但并未指定机器人执行所需的完整关节构型。我们提出 Dream4ACT，一个专为跨具身联合视频-动作建模构建的世界模型。为了统一不同具身之间的动作表示，我们引入了一种共享视觉动作接口，称为“动作视图“（action views）：它基于 URDF 的正运动学，从四个指定的虚拟相机渲染目标关节构型。这种共享的视觉表示既保留了具身特有的关节几何结构，又使观察序列和动作序列能够共享同一个视频自编码器和扩散 Transformer。通过掩码流匹配（masked flow matching），我们的模型通过改变对哪些未来序列进行扰动，即可在同一个联合训练的模型内支持前向动力学、逆向动力学以及联合观察-动作生成。为了从预测的动作视图中恢复可执行的动作序列，我们提出了一种无需训练的、受 URDF 约束的多视角恢复机制，无需学习任何具身专用的解码器。Dream4ACT 在 RoboTwin 2.0 上达到 88.98% 的平均成功率，在 TriWorldBench 上获得 65.66 的综合得分，证明了该视觉动作接口能够支持有效的闭环操作以及具有竞争力的动作条件多视角预测。

查看 arXiv 页面 (https://arxiv.org/abs/2609.40153) 查看 PDF (https://arxiv.org/pdf/2609.40153) 项目页面 (https://dream4act.github.io/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.40153)

在你的 agent 中获取此论文：

hf papers read 2609.40153

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.40153 以从本页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.40153 以从本页面链接它。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.40153 以从本页面链接它。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接它。