论文页面 - ActiveMimic：基于主动感知的第一人称视频预训练

来源：https://huggingface.co/papers/2606.06194 发布于6月4日

·

由 Leo 于6月15日提交

摘要

ActiveMimic 预训练框架从第一人称视频中恢复相机和手腕轨迹，以实现与机器人数据性能相匹配的主动感知学习。

第一人称人类视频为预训练提供了一种可扩展的机器人数据替代方案，然而在此类视频上预训练的模型始终表现不如在机器人数据上预训练的模型。我们将这一差距归因于缺失的信号——第一人称视频中的主动感知行为，其中人类在操作过程中不断调整视角，导致标准流水线将相机运动视为噪声。为此，我们提出 ActiveMimic，一个预训练框架，能从单个穿戴式 RGB 相机中恢复同步的相机和手腕轨迹，将相机运动建模为视角动作，并联合学习来自野外第一人称人类视频的主动感知和操作，随后适应目标机器人。实验结果表明，在具有不同主动感知需求的各种任务中，ActiveMimic 始终优于在人类视频上预训练的基线，并达到在机器人数据上预训练的最先进模型水平。进一步分析提供了证据，表明主动感知能力源自第一人称人类视频预训练而非机器人特定的微调，从而确认主动感知是解锁第一人称人类视频用于机器人预训练的关键。

查看 arXiv 页面 (https://arxiv.org/abs/2606.06194)
查看 PDF (https://arxiv.org/pdf/2606.06194)
项目页面 (https://activemimic.github.io/)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06194)

在你的智能体中获取此论文：

hf papers read 2606.06194

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.06194 即可从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.06194 即可从此页面链接。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.06194 即可从此页面链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到一个收藏集中即可从此页面链接。