MobileEgo Anywhere: 用于消费级硬件的长时域自我中心数据的开放基础设施
摘要
MobileEgo Anywhere 是一个基于移动设备的框架,利用智能手机传感器收集长时间自我中心机器人数据,通过降低硬件门槛,使得大规模训练视觉-语言-动作模型成为可能。
查看缓存全文
缓存时间: 2026/05/18 14:26
论文页面 - MobileEgo Anywhere: 在通用硬件上进行长时程第一人称数据采集的开放基础设施
来源:https://huggingface.co/papers/2605.05945
摘要
一个基于智能手机传感器的移动端框架,用于采集长时间跨度的第一人称机器人数据,从而支持大规模训练视觉-语言-动作模型。
近年来,视觉-语言-动作(VLA)模型的快速发展催生了对大规模第一人称数据集(https://huggingface.co/papers?q=egocentric%20datasets)的迫切需求。然而,现有数据集往往受限于较短的片段时长(通常只有几分钟),无法捕捉复杂机器人任务执行所需的长时间跨度的时序依赖关系(https://huggingface.co/papers?q=long%20horizon%20temporal%20dependencies)。为弥补这一差距,我们提出了 MobileEgo Anywhere,一个旨在利用通用移动硬件(https://huggingface.co/papers?q=mobile%20hardware)采集稳健的、时长超过一小时的第一人称轨迹的框架。我们利用现代智能手机普遍配备的传感器套件,提供高保真、长时间持续的相机姿态跟踪,从而有效降低了传统机器人数据采集的高硬件门槛。我们的贡献体现在三个方面:(1)发布了一个新颖的数据集,包含 200 小时的多样化长时程第一人称数据,并带有持续的状态跟踪;(2)开源了一款移动应用程序,使任何用户都能录制第一人称数据;(3)提供了一套完整的处理流水线,将原始移动端采集数据转换为标准化、可直接用于训练视觉-语言-动作模型和基础模型研究的格式。通过将数据采集过程民主化,本工作使得在全球多样化环境中大规模获取长时程数据成为可能,从而加速了通用机器人策略的开发。
查看 arXiv 页面(https://arxiv.org/abs/2605.05945)查看 PDF(https://arxiv.org/pdf/2605.05945)项目页面(https://www.fpvlabs.ai/stera)GitHub5(https://github.com/fpv-labs/stera-sdk)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.05945)
在您的 Agent 中获取此论文:
hf papers read 2605\.05945
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2605.05945 即可从此页面链接它。
引用此论文的数据集1
fpvlabs/stera-10m 更新于 3 天前 • 13.1k • 13(https://huggingface.co/datasets/fpvlabs/stera-10m)
引用此论文的 Space0
没有 Space 链接此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2605.05945 即可从此页面链接它。
包含此论文的合集0
没有合集包含此论文
将此论文添加到合集(https://huggingface.co/new-collection)中即可从此页面链接它。
相似文章
ACE-Ego-0: 统一第一人称人类与机器人数据用于VLA预训练
ACE-EGO-0是一个统一的视觉-语言-动作预训练框架,利用第一人称人类视频和机器人轨迹,通过可靠性感知训练目标,在具身AI基准上达到了最先进水平。
Ego2Robot:从第一人称人类数据规模化合成机器人数据
Ego2Robot是一个可扩展的流水线,通过动作重定向和视觉合成,将第一人称人类操作视频转换为机器人训练数据,生成涵盖15种机器人形态的18,561小时数据。实验表明,在该合成数据与真实机器人数据上联合预训练,可提升视觉-语言-动作模型在分布外场景下的泛化能力,并已在真实机器人部署中得到验证。
Open-AoE:面向具身学习的开放自我中心操作数据集与工具链
Open-AoE 是一个开放、面向社区的自我中心操作数据集与工具链,覆盖从智能手机采集到模型训练的完整流程,提供约2000小时的操作视频及标注,并包含用于具身学习的下游工具。
LightMem-Ego:您的日常生活AI记忆
LightMem-Ego是一种轻量级流式多模态记忆系统,用于日常生活辅助,它持续捕捉第一人称视角的视觉和音频流,将其组织成分层记忆,并检索基于事实的答案来回答用户关于过去经历的查询,可部署在智能手机和AI眼镜上。
EgoXperience:从人类经验中学习世界锚定的第一人称表征
EgoXperience 提出一个统一框架,通过自动标注的大规模数据和单次前向传播模型,从第一人称视频中联合重建相机运动、场景几何、手部与物体,并发布了 EgoX-Data-6M 数据集与 EgoX-Bench 基准,取得显著优于基线的性能。