Paper page - Open-AoE：用于具身学习的开放第一人称操作数据集与工具链

来源：https://huggingface.co/papers/2607.14183 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

人类操作的第一人称视频为具身智能提供了可扩展的监督信号，然而现有资源很少能兼顾低成本连续采集、操作级结构化标注以及可用于机器人学习的可复用工具。我们提出 Open-AoE，一个面向社区的开放第一人称操作数据集与工具链，覆盖从手机拍摄到模型训练的完整流程。其首个版本包含约 2,000 小时的操作视频，由 500 多位贡献者使用 400 多部智能手机在自然环境中采集。数据集提供文本标注、基于 MANO 的手部姿态、相机轨迹以及时间定位的原子动作。Open-AoE 还包含一个数据处理流水线，通过时间动作分割、语义标注、手部重建和相机轨迹重建将原始录制转化为结构化样本。同时，我们提供独立的下游工具链，支持可视化、跨具身重定向、特定模型的数据转换，以及用于 VLA 策略、WAM 和世界模型的训练配方。通过整合可扩展采集、结构化处理和下游适配，Open-AoE 降低了数据贡献和复用的门槛，为具身模型训练、人机迁移和世界建模提供实用的开放基础设施。

查看 arXiv 页面 (https://arxiv.org/abs/2607.14183)查看 PDF (https://arxiv.org/pdf/2607.14183)GitHub79 (https://github.com/ant-research/Open-AoE)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.14183)

在你的智能体中获取此论文：

hf papers read 2607\.14183

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.14183 即可从此页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.14183 即可从此页面链接。

引用此论文的 Space0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.14183 即可从此页面链接。

包含此论文的合集1