从基础到应用:在实践中改进VLA模型

Papers with Code Trending 论文

摘要

本文介绍了LingBot-VLA 2.0,它通过改进跨任务和具身形态的泛化能力、将动作空间扩展至全身自由度,并引入预测动力学建模以提升时间推理能力,从而增强了用于机器人技术的VLA基础模型。

尽管VLA基础模型近期取得了进展,但实验室条件与现实应用之间的差距仍然阻碍了其实践部署。为了弥合这一差距,我们提出了LingBot-VLA 2.0,它在三个功能领域对LingBot-VLA进行了改进。(1) 跨任务和具身形态的泛化能力。与前一版本相比,我们改进了数据处理流程,并整理约6万小时的数据用于预训练,其中包括覆盖20种机器人构型的5万小时机器人轨迹数据,以及1万小时的第一人称人类视频数据。(2) 在双臂硬件平台之外扩展动作空间。具体而言,我们的系统支持头部、腰部、移动基座和灵巧手的自由度,从而使机器人能够在实际场景中处理更复杂的任务。(3) 用于提升时间推理能力的预测动力学建模。具体而言,我们将未来预测作为一个代理任务,借助一个用于语义先验的视频表示模型和一个用于几何线索的深度估计模型来辅助实现。在通用设置下对GM-100基准进行的评估验证了这些改进的有益影响。此外,受益于涵盖全身自由度的扩展预训练数据,LingBot-VLA-2.0在两个机器人平台上展示了强大的跨具身长时程移动操作能力。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:34

论文页面——从基础到应用:在实践中改进VLA模型

来源:https://huggingface.co/papers/2607.06403 发布于7月7日

·

https://huggingface.co/Weiww99提交于7月8日

作者:

摘要

LingBot-VLA 2.0 通过扩展数据预处理和在多样化机器人构型上训练,增强了跨任务和跨本体的泛化能力;将动作空间扩展到包含全身自由度以处理复杂操作任务;并利用视频表示和深度估计引入预测动力学建模,提升了时序推理能力。

尽管VLA基础模型近期取得了进展,但实验室条件与现实应用之间的差距仍然阻碍着它们的实际部署。为弥合这一鸿沟,我们提出了LingBot-VLA 2.0,它在三个功能领域对LingBot-VLA进行了改进。(1) 跨任务和跨本体的泛化。与上一版本相比,我们重新设计了数据处理流程,并精心整理约6万小时的数据用于预训练,其中包括5万小时覆盖20种机器人构型的机器人轨迹数据,以及1万小时的第一人称人类视频数据。(2) 扩展的动作空间。在双臂硬件平台之外,我们的系统还支持头部、腰部、移动底座和灵巧手的自由度,从而使机器人能够在实际场景中处理更复杂的任务。(3) 用于改进时序推理预测动力学建模。具体来说,我们将未来预测作为一个代理任务,借助视频表示模型获取语义先验,并利用深度估计模型获取几何线索。在通用设置下对GM-100基准进行的评估验证了这些改进的积极效果。此外,得益于涵盖全身自由度的扩展预训练数据,LingBot-VLA-2.0在两个机器人平台上展现出了强大的跨本体长时程移动操作能力。

查看arXiv页面 (https://arxiv.org/abs/2607.06403)查看PDF (https://arxiv.org/pdf/2607.06403)项目页面 (https://technology.robbyant.com/lingbot-vla-v2)GitHub306 (https://github.com/robbyant/lingbot-vla-v2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.06403)

在你的智能体中获取这篇论文:

hf papers read 2607\.06403

还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有与此论文关联的模型

请在模型README.md中引用arxiv.org/abs/2607.06403以从此页面关联。

引用本文的数据集1

cy0307/awesome-egocentric-atlas 查看器• 30分钟前更新 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)

引用本文的Spaces0

没有与此论文关联的Space

请在Space README.md中引用arxiv.org/abs/2607.06403以从此页面关联。

包含本文的集合1

相似文章

LabVLA:在科学实验室中落地视觉-语言-动作模型

Hugging Face Daily Papers

LabVLA是一种面向科学实验室自动化的视觉-语言-动作模型,采用两阶段训练方法,结合动作令牌预训练与流匹配。通过在LabUtopia基准上利用模拟数据弥合家庭演示与实验室特定任务之间的差距,它实现了最先进的成功率。

IntentVLA: 针对混叠机器人操作的短期意图建模

Hugging Face Daily Papers

IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。