论文页面 - GRAIL：利用3D资产和视频先验生成类人机器人的操作与移动数据

来源：https://huggingface.co/papers/2606.05160 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

GRAIL通过3D资产组合和视频基础模型生成多样化的类人机器人操作与移动数据，实现了有效的仿真到现实迁移，用于机器人控制。

扩展类人机器人的操作与移动能力需要跨多样物体、全身运动和场景几何的机器人兼容演示，但遥操作和动作捕捉难以规模化，因为每次采集都依赖于物理设备、穿戴装备的演员和机器人操作。我们提出GRAIL，一个全虚拟的数字生成流水线（仅在部署阶段进入现实世界）：它组合3D资产、模拟器就绪场景以及来自视频基础模型（VFMs）的先验知识，无需重建物理环境或遥操作机器人即可合成交互。与从无约束的真实视频中进行重建不同，GRAIL从完全指定的3D配置出发——在视频生成之前，物体几何、相机参数、度量尺度、环境深度以及一个按机器人比例调整的角色均已知，并在重建过程中重复使用。这种特权设置更好地支撑了4D恢复，通过基于模型的物体跟踪、人体运动估计和交互感知优化，能够以更小的深度模糊性和形态不匹配来重建度量的4D人-物交互（HOI）轨迹。我们将恢复的动作重新映射到类人机器人上，并训练了互补的任务通用追踪器：一个用于操作的物体感知潜在适配器，以及一个用于地形穿越的场景感知追踪器。GRAIL生成了超过20,000个序列，涵盖拾取、物体操作、坐下和地形穿越。仅使用GRAIL生成的数据，我们通过仿真到现实流水线训练以自我为中心的视觉策略，并将其部署在Unitree G1类人机器人上，在实际世界中实现了84%的多样化物体拾取成功率和90%的爬楼梯成功率。

查看arXiv页面（https://arxiv.org/abs/2606.05160）查看PDF（https://arxiv.org/pdf/2606.05160）项目页面（https://research.nvidia.com/labs/dair/grail/）GitHub1（https://github.com/NVlabs/GRAIL）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.05160）

在你的Agent中获取此论文：

hf papers read 2606\.05160

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接到此论文

在模型README.md中引用arxiv.org/abs/2606.05160，即可从本页链接。

引用此论文的数据集0

暂无数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2606.05160，即可从本页链接。

引用此论文的Space0

暂无Space链接到此论文

在Space README.md中引用arxiv.org/abs/2606.05160，即可从本页链接。

包含此论文的收藏0

暂无收藏包含此论文

将此论文添加到收藏（https://huggingface.co/new-collection），即可从本页链接。