论文页面 - WorldRover：一个可扩展的合成视频数据引擎，用于带有丰富标注的世界探索

来源：https://huggingface.co/papers/2608.15659

摘要

WorldRover 是一个合成数据引擎，用于生成具有深度、相机运动和跟踪信号的长程、标注丰富的视频序列，以支持训练模型实现连贯的世界探索。

学习生成或重建可探索世界所需的视频，除了 RGB 信息外，还需要更多：相机运动、场景几何、时间对应关系，以及针对交互式模型的控制信号。真实采集可以提供其中部分信号，但稠密几何和长程对应关系通常依赖于估计或专用仪器。渲染可以直接提供这些信息，然而现有的合成资源很少在相同的帧上同时结合它们，还同时支持对视角和外观的可控变化。我们推出了 WorldRover，一个用于在艺术家构建的环境中生成标注丰富、长程探索数据的数据引擎。其核心 WorldRover-Engine 是一个 Unreal Engine 管道，能够执行并离线渲染分钟级的路线，同时保留其完整的轨迹和场景几何。相同的探索过程可以从第一人称、第三人称和 360 全景摄像机（https://huggingface.co/papers?q=panoramic%20cameras）在不同的环境状态下进行重放。使用 WorldRover-Engine，我们构建了 WorldRover-10M，其序列将 RGB 与度量深度（https://huggingface.co/papers?q=metric%20depth）、相机轨迹（https://huggingface.co/papers?q=camera%20trajectories）以及贯穿每次探索的轨迹派生动作信号（https://huggingface.co/papers?q=action%20signals）配对。第三人称子集还额外提供了稠密光流（https://huggingface.co/papers?q=optical%20flow）、带有可见性（https://huggingface.co/papers?q=visibility）的长程 2D/3D 点轨迹（https://huggingface.co/papers?q=2D%2F3D%20point%20tracks），以及不同于相机轨迹的角色轨迹。该引擎可以从第一人称、第三人称和 360 全景视角渲染遍历过程，支持不同的环境状态或使用中性白色材质，同时保留路线和场景几何。因此，WorldRover 将长程世界探索转化为一个可扩展的数据生成问题，为必须构建、维护和重复访问可探索世界连贯表示的模型提供监督。

查看 arXiv 页面 (https://arxiv.org/abs/2608.15659) 查看 PDF (https://arxiv.org/pdf/2608.15659) 项目页面 (https://alayalab.github.io/WorldRover/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.15659)

在您的代理中获取此论文：

hf papers read 2608\.15659

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.15659 以从本页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.15659 以从本页面链接它。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.15659 以从本页面链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。