论文页面 - 先学移动再学做事：面向VLA的任务无关预训练

来源：https://huggingface.co/papers/2607.02466

摘要

任务无关预训练框架通过自监督逆动力学在无标签数据上训练机器人模型，随后进行轻量级语言接地，以极少的专家演示实现了卓越性能。

视觉-语言-动作（VLA）模型的核心瓶颈在于专家演示（https://huggingface.co/papers?q=expert%20demonstrations）的稀缺——这些包含观察、指令和动作的三元组难以大规模采集。我们认为，这一瓶颈源于混淆了两个不同的学习目标：获取物理能力（https://huggingface.co/papers?q=physical%20competence）（如何移动）和获取语义对齐（https://huggingface.co/papers?q=semantic%20alignment）（做什么）。关键的是，只有后者需要语言监督。基于这一分解假设，我们提出了任务无关预训练（https://huggingface.co/papers?q=Task-Agnostic%20Pretraining）（TAP），这是一个两阶段框架：首先通过自监督逆动力学（https://huggingface.co/papers?q=self-supervised%20Inverse%20Dynamics）目标从廉价的无标签交互数据（包括丢弃的离任务轨迹和自主机器人玩耍数据）中学习可迁移的运动先验；随后在轻量级第二阶段中，利用极少的专家数据将这些先验与语言进行接地。在SIMPLER基准（https://huggingface.co/papers?q=SIMPLER%20benchmark）上，TAP与使用超过100万条专家轨迹训练的模型性能相当，而使用的标签数据量则少几个数量级，相较于标准行为克隆（https://huggingface.co/papers?q=behavior%20cloning）实现了10%的绝对增益。在真实世界WidowX平台（https://huggingface.co/papers?q=WidowX%20platform）上，TAP在相机扰动下仍保持25%的成功率，而大规模互联网基线则降至0%，这表明任务无关预训练（https://huggingface.co/papers?q=task-agnostic%20pretraining）能够产生鲁棒且可迁移的物理表征，为具身智能提供了一条可扩展的前进路径。

查看arXiv页面（https://arxiv.org/abs/2607.02466）查看PDF（https://arxiv.org/pdf/2607.02466）项目页面（https://sjh0354.github.io/task_agnostic_pretrain/）GitHub1（https://github.com/sjh0354/Task-Agnostic-Pretrain）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.02466）

在你的智能体中获取这篇论文：

hf papers read 2607\.02466

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

未找到关联本论文的模型

在模型 README.md 中引用 arxiv.org/abs/2607.02466 以从本页面链接。

引用本论文的数据集0

未找到关联本论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.02466 以从本页面链接。

引用本论文的Space0

未找到关联本论文的Space

在 Space README.md 中引用 arxiv.org/abs/2607.02466 以从本页面链接。

包含本论文的收藏集0

未找到包含本论文的收藏集

将本论文添加到一个收藏集（https://huggingface.co/new-collection）以从本页面链接。