论文页面 - EgoSteer: 一种基于自我中心视频实现可操控灵巧操作的全栈系统

来源: https://huggingface.co/papers/2607.09701 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

可操控性是通用机器人策略的关键能力，但在灵巧手系统中仍基本缺失，原因在于缺乏大规模、与语言对齐且动作精确的演示数据。为解决这一瓶颈，我们提出了一种全栈系统，该系统从自我中心人类视频中扩展灵巧VLA预训练，并实现数据高效的实物机器人后训练。它集成了EgoSmith（一个数据管道，将野外自我中心视频整理为9.6K小时的高质量预训练数据，吞吐量比先前SOTA高9倍且精度更高）、用于遥操作和人在回路修正的统一机器人栈，以及EgoSteer（一个基于优化基础设施训练的、世界模型增强的VLA）。人类数据预训练为EgoSteer提供了语言引导的操作先验，这些先验通过机器人后训练得到巩固，并通过DAgger改进来增强。实验表明，EgoSteer能够在40+种不同任务中稳健执行自由形式指令，展现出故障恢复、灵巧性和泛化能力。预训练模型还能在两种具身形态上以75%以上的成功率，通过少样本适应完成复杂的长期任务，包括折纸盒。我们已在https://egosteer.github.io/开源了系统、数据和模型。

查看 arXiv 页面 (https://arxiv.org/abs/2607.09701)查看 PDF (https://arxiv.org/pdf/2607.09701)项目页面 (https://egosteer.github.io/#/)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.09701)

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.09701 以从此页面链接该模型。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.09701 以从此页面链接该数据集。

引用此论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.09701 以从此页面链接该 Space。

包含此论文的收藏0

没有包含此论文的收藏

请将本论文添加至收藏 (https://huggingface.co/new-collection) 以从此页面链接该论文。