论文页面 - HuGe：利用第一人称体验扩展人形机器人通才视觉-语言-动作模型

来源：https://huggingface.co/papers/2610.34186

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

HuGe 在第一人称人类数据和机器人数据上对视觉-语言-动作模型进行预训练，并引入伪本体感知和视觉适配，以实现人形机器人的全身控制。

将视觉-语言-动作模型（https://huggingface.co/papers?q=Vision-Language-Action%20models）（VLA（https://huggingface.co/papers?q=VLAs)）扩展到人形机器人需要协调的全身控制以及多样化的演示数据，而这些数据在真实场景中采集成本高昂。尽管第一人称人类演示提供了互补的任务经验来源，但由于视觉具身差异和机器人本体感知信号的缺失，将其迁移到人形机器人策略变得十分困难。为应对这些挑战，我们提出了 HuGe——一个在超过 2,000 小时的第一人称人类数据和机器人数据上预训练的人形通才 VLA（https://huggingface.co/papers?q=VLAs）模型系列。具体而言，HuGe 采用三种现有的代表性 VLA 架构，为预训练的全身控制器（https://huggingface.co/papers?q=whole-body%20controller）预测隐式运动 token（https://huggingface.co/papers?q=latent%20motion%20tokens），同时输出手部控制信号。在此基础上，我们引入了一个三阶段训练流程，结合第一人称预训练（https://huggingface.co/papers?q=egocentric%20pre-training）、人形适配（https://huggingface.co/papers?q=humanoid%20adaptation）和下游微调。为促进跨具身迁移，我们在预训练阶段通过仿真回放构建伪本体感知状态（https://huggingface.co/papers?q=pseudo-proprioceptive%20states），并在下游微调阶段通过重渲染（https://huggingface.co/papers?q=re-rendering）修改第一人称观测中的手臂外观。借助这一流程，HuGe 在仿真基准 HumanoidArena 上取得了当前最优性能。此外，在 Unitree G1 上的真实世界实验表明，使用经过视觉适配的第一人称演示数据来增强机器人演示，可以显著提升抓取-放置任务的成功率。

查看 arXiv 页面 (https://arxiv.org/abs/2610.34186)　查看 PDF (https://arxiv.org/pdf/2610.34186)　项目页面 (https://yliu-cs.github.io/HuGe)　GitHub11 (https://github.com/yliu-cs/HuGe)　添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.34186)

在你的代理中获取此论文：

hf papers read 2610\.34186

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无关联此论文的模型。

在模型的 README.md 中引用 arxiv.org/abs/2610.34186，即可从此页面链接该模型。

引用此论文的数据集 0

暂无关联此论文的数据集。

在数据集的 README.md 中引用 arxiv.org/abs/2610.34186，即可从此页面链接该数据集。

引用此论文的 Space 0

暂无关联此论文的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.34186，即可从此页面链接该 Space。

收录此论文的收藏集 0

暂无收录此论文的收藏集。

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接该收藏集。