论文页面 - InSight：通过可操控的VLA实现自主技能获取

来源：https://huggingface.co/papers/2606.24884 发布于6月23日

·

由https://huggingface.co/maggi3wang提交

Maggie (https://huggingface.co/maggi3wang)于6月24日

摘要

InSight通过原始动作层面的可操控性与自动化演示生成，实现了视觉-语言-动作模型的自主技能获取。

视觉-语言-动作（VLA）模型能够通过演示学习操作技能，但其能力受限于训练数据中包含的技能。我们提出了InSight框架，该框架通过在原始动作层面（例如“将夹爪移至碗处”、“向上抬起”、“倾倒瓶子”）使VLA具备可操控性，从而解锁自主技能获取的能力。InSight包含两个主要阶段：（1）一个自动化分割管道（https://huggingface.co/papers?q=automated%20segmentation%20pipeline），该管道通过VLM计划分解（https://huggingface.co/papers?q=VLM%20plan%20decomposition）和末端执行器位姿（https://huggingface.co/papers?q=end-effector%20poses）将演示划分为带标签的原始动作，从而实现VLA原始动作的可操控性；（2）一个VLM引导的数据飞轮（https://huggingface.co/papers?q=VLM-guided%20data%20flywheel），它能够识别完成新任务所缺失的原始动作，自动尝试使用VLM提出的低级控制（https://huggingface.co/papers?q=low-level%20control）来演示缺失的原始动作，并自动对成功的演示进行标记、存储和集成到VLA训练集中。我们在模拟和真实世界的操作任务上评估了InSight，包括翻转方块、关闭抽屉、清扫、扭转和倾倒，这些任务均无需任何目标技能的人工演示。一旦这些原始动作被习得，它们可以组合起来执行新颖的长时段任务，而无需额外的人工演示。我们的研究结果表明，原始动作的可操控性为VLA策略中的持续技能获取（https://huggingface.co/papers?q=continual%20skill%20acquisition）提供了实用基础。项目网站：https://insight-vla.github.io/。

查看arXiv页面（https://arxiv.org/abs/2606.24884）查看PDF（https://arxiv.org/pdf/2606.24884）项目页面（https://insight-vla.github.io/）GitHub6（https://github.com/insight-vla/insight）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.24884）

在你的智能体中获取这篇论文：

hf papers read 2606.24884

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在你的模型README.md中引用arxiv.org/abs/2606.24884以从本页面链接。

引用此论文的数据集0

没有数据集关联此论文

请在你的数据集README.md中引用arxiv.org/abs/2606.24884以从本页面链接。

引用此论文的Space0

没有Space关联此论文

请在你的Space README.md中引用arxiv.org/abs/2606.24884以从本页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）中以从本页面链接。