MobileEgo Anywhere: 用于消费级硬件的长时域自我中心数据的开放基础设施

Hugging Face Daily Papers 论文

摘要

MobileEgo Anywhere 是一个基于移动设备的框架,利用智能手机传感器收集长时间自我中心机器人数据,通过降低硬件门槛,使得大规模训练视觉-语言-动作模型成为可能。

近期 Vision Language Action (VLA) 模型的进展催生了对大规模自我中心数据集的关键需求。然而,现有数据集通常受限于短时任务片段,通常只有几分钟,无法捕获复杂机器人任务执行所必需的长时域时间依赖。为弥补这一不足,我们提出 MobileEgo Anywhere,这是一个旨在利用消费级移动硬件收集稳健的、时长超过一小时的自我中心轨迹的框架。我们利用现代智能手机无处不在的传感器套件,提供高保真、长期相机位姿追踪,有效消除了与传统机器人数据收集相关的高硬件门槛。我们的贡献有三方面:(1)我们发布了一个全新的数据集,包含200小时多样化、长形式的自我中心数据,并带有持续状态追踪;(2)我们开源了一款移动应用程序,使任何用户都能录制自我中心数据;(3)我们提供了一套完整的处理流程,将原始移动端捕获数据转换为标准化、可直接用于训练的格式,以供 Vision Language Action 模型和基础模型研究使用。通过使数据收集过程民主化,这项工作使得能够在全球多样环境中大规模获取长时域数据,加速了可泛化机器人策略的发展。
查看原文
查看缓存全文

缓存时间: 2026/05/18 14:26

论文页面 - MobileEgo Anywhere: 在通用硬件上进行长时程第一人称数据采集的开放基础设施

来源:https://huggingface.co/papers/2605.05945

摘要

一个基于智能手机传感器的移动端框架,用于采集长时间跨度的第一人称机器人数据,从而支持大规模训练视觉-语言-动作模型。

近年来,视觉-语言-动作(VLA)模型的快速发展催生了对大规模第一人称数据集(https://huggingface.co/papers?q=egocentric%20datasets)的迫切需求。然而,现有数据集往往受限于较短的片段时长(通常只有几分钟),无法捕捉复杂机器人任务执行所需的长时间跨度的时序依赖关系(https://huggingface.co/papers?q=long%20horizon%20temporal%20dependencies)。为弥补这一差距,我们提出了 MobileEgo Anywhere,一个旨在利用通用移动硬件(https://huggingface.co/papers?q=mobile%20hardware)采集稳健的、时长超过一小时的第一人称轨迹的框架。我们利用现代智能手机普遍配备的传感器套件,提供高保真、长时间持续的相机姿态跟踪,从而有效降低了传统机器人数据采集的高硬件门槛。我们的贡献体现在三个方面:(1)发布了一个新颖的数据集,包含 200 小时的多样化长时程第一人称数据,并带有持续的状态跟踪;(2)开源了一款移动应用程序,使任何用户都能录制第一人称数据;(3)提供了一套完整的处理流水线,将原始移动端采集数据转换为标准化、可直接用于训练视觉-语言-动作模型和基础模型研究的格式。通过将数据采集过程民主化,本工作使得在全球多样化环境中大规模获取长时程数据成为可能,从而加速了通用机器人策略的开发。

查看 arXiv 页面(https://arxiv.org/abs/2605.05945)查看 PDF(https://arxiv.org/pdf/2605.05945)项目页面(https://www.fpvlabs.ai/stera)GitHub5(https://github.com/fpv-labs/stera-sdk)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.05945)

在您的 Agent 中获取此论文:

hf papers read 2605\.05945

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2605.05945 即可从此页面链接它。

引用此论文的数据集1

fpvlabs/stera-10m 更新于 3 天前 • 13.1k • 13(https://huggingface.co/datasets/fpvlabs/stera-10m)

引用此论文的 Space0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2605.05945 即可从此页面链接它。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集(https://huggingface.co/new-collection)中即可从此页面链接它。

相似文章

Ego2Robot:从第一人称人类数据规模化合成机器人数据

Hugging Face Daily Papers

Ego2Robot是一个可扩展的流水线,通过动作重定向和视觉合成,将第一人称人类操作视频转换为机器人训练数据,生成涵盖15种机器人形态的18,561小时数据。实验表明,在该合成数据与真实机器人数据上联合预训练,可提升视觉-语言-动作模型在分布外场景下的泛化能力,并已在真实机器人部署中得到验证。

LightMem-Ego:您的日常生活AI记忆

Hugging Face Daily Papers

LightMem-Ego是一种轻量级流式多模态记忆系统,用于日常生活辅助,它持续捕捉第一人称视角的视觉和音频流,将其组织成分层记忆,并检索基于事实的答案来回答用户关于过去经历的查询,可部署在智能手机和AI眼镜上。

EgoXperience:从人类经验中学习世界锚定的第一人称表征

Hugging Face Daily Papers

EgoXperience 提出一个统一框架,通过自动标注的大规模数据和单次前向传播模型,从第一人称视频中联合重建相机运动、场景几何、手部与物体,并发布了 EgoX-Data-6M 数据集与 EgoX-Bench 基准,取得显著优于基线的性能。