论文页面 - 具身操作的数据金字塔

来源：https://huggingface.co/papers/2607.24744 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

多模态基础模型通过学习整个互联网的视觉与语言数据，实现了“看”与“说”的能力。具身智能体则没有这样的捷径，因为它们需要将观测与物理状态和动作耦合的数据。这些信号可以由多种数据源以不同程度提供。在这项工作中，我们将具身数据生态系统组织成一个“金字塔”，涵盖五个互补的数据源：真实机器人数据、UMI风格数据、自我中心与外部视角数据、仿真数据，以及通用视觉语言数据。我们围绕可扩展性与机器人对齐之间的张力来组织这个金字塔，并进一步从数据质量、多样性、可复用性和物理保真度等维度刻画每个数据源。然后，我们通过数据配方的视角分析近期具身基础模型，考察这些模型在预训练过程中如何选择、对齐和混合不同的数据源。对于具身大脑模型、视觉-语言-动作模型和世界-动作模型，我们将数据构成与感知、推理、规划、动作生成和世界预测等能力联系起来。最后，我们讨论了六个开放性挑战：构建大规模触觉数据集、收集失败与恢复数据、开发可扩展的数据收集流程、跨具身形态对齐动作、利用自我中心数据进行灵巧操作，以及为机器人学习设计有原则的数据配方。我们希望这项工作能为下一代具身系统的设计奠定基础。

查看 arXiv 页面 (https://arxiv.org/abs/2607.24744)
查看 PDF (https://arxiv.org/pdf/2607.24744)
项目页面 (https://jasper-aaa.github.io/embodied-data-pyramid/)
GitHub9 (https://github.com/worldbench/awesome-embodied-data-pyramid)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24744)

在您的智能体中获取本文：

hf papers read 2607.24744

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

暂无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.24744 以从本页面链接它。

引用本文的数据集0

暂无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.24744 以从本页面链接它。

引用本文的 Spaces0

暂无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.24744 以从本页面链接它。

包含本文的收藏集0

暂无收藏集包含此论文

添加此论文到一个收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。