论文页面 - RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

来源：https://huggingface.co/papers/2607.06559

摘要

多模态4D世界模型能够从单张RGB-D图像和语言指令中同步生成RGB、深度图和光流数据，通过统一的扩散过程和逆动力学策略学习，实现高效的机器人操作。

开放世界中的机器人操作不仅需要识别场景的外观，还需要预测其三维结构在交互下如何运动。我们认为，同步的RGB、深度图和光流（即RGB-DF，RGB-深度-光流）提供了一种物理上有依据的表征，能够捕捉场景底层的4D动态。与2D像素视频相比，这种多模态协同将视觉外观与几何结构和时间运动对齐，创造了一个更接近机器人系统所需低级末端执行器动作的表征空间，从而缩小了世界预测与策略学习之间的差距。基于这一洞察，我们提出了RynnWorld-4D，这是一个生成模型，能够在统一的扩散过程中，从单张RGB-D图像和一条语言指令协同生成未来的RGB帧、深度图和光流。该4D世界模型采用三分支架构，结合了跨模态注意力与逐帧3D RoPE，确保外观、几何和运动的一致性演化。为了提供大规模训练数据，我们精心构建了Rynn4DDataset 1.0，这是一个包含超过2.544亿帧的大规模数据集，涵盖以自我为中心的人类和机器人操作视频，并带有高质量的深度图和光流伪标签。我们进一步提出了RynnWorld-4D-Policy，这是一个逆动力学头，能够通过单次前向传播消耗RynnWorld-4D的内部4D表征，绕过昂贵的多步去噪过程，以闭环方式输出机器人动作。实验表明，RynnWorld-4D能够产生时空一致的4D预测，并且RynnWorld-4D-Policy在真实世界的灵巧双手操作任务中达到了最先进的性能，特别是在需要空间精度和时间协调的任务中表现突出。

查看arXiv页面 (https://arxiv.org/abs/2607.06559)查看PDF (https://arxiv.org/pdf/2607.06559)项目页面 (https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io/)GitHub11 (https://github.com/alibaba-damo-academy/RynnWorld-4D)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.06559)

在您的智能体中获取此论文：

hf papers read 2607.06559

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用arxiv.org/abs/2607.06559，即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2607.06559，即可从此页面链接。

引用此论文的Space0

没有Space链接此论文

在Space的README.md中引用arxiv.org/abs/2607.06559，即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection)中，即可从此页面链接。