从基础到应用:在实践中改进VLA模型
摘要
本文介绍了LingBot-VLA 2.0,它通过改进跨任务和具身形态的泛化能力、将动作空间扩展至全身自由度,并引入预测动力学建模以提升时间推理能力,从而增强了用于机器人技术的VLA基础模型。
查看缓存全文
缓存时间: 2026/07/09 07:34
论文页面——从基础到应用:在实践中改进VLA模型
来源:https://huggingface.co/papers/2607.06403 发布于7月7日
·
由https://huggingface.co/Weiww99提交于7月8日
作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
LingBot-VLA 2.0 通过扩展数据预处理和在多样化机器人构型上训练,增强了跨任务和跨本体的泛化能力;将动作空间扩展到包含全身自由度以处理复杂操作任务;并利用视频表示和深度估计引入预测动力学建模,提升了时序推理能力。
尽管VLA基础模型近期取得了进展,但实验室条件与现实应用之间的差距仍然阻碍着它们的实际部署。为弥合这一鸿沟,我们提出了LingBot-VLA 2.0,它在三个功能领域对LingBot-VLA进行了改进。(1) 跨任务和跨本体的泛化。与上一版本相比,我们重新设计了数据处理流程,并精心整理约6万小时的数据用于预训练,其中包括5万小时覆盖20种机器人构型的机器人轨迹数据,以及1万小时的第一人称人类视频数据。(2) 扩展的动作空间。在双臂硬件平台之外,我们的系统还支持头部、腰部、移动底座和灵巧手的自由度,从而使机器人能够在实际场景中处理更复杂的任务。(3) 用于改进时序推理的预测动力学建模。具体来说,我们将未来预测作为一个代理任务,借助视频表示模型获取语义先验,并利用深度估计模型获取几何线索。在通用设置下对GM-100基准进行的评估验证了这些改进的积极效果。此外,得益于涵盖全身自由度的扩展预训练数据,LingBot-VLA-2.0在两个机器人平台上展现出了强大的跨本体长时程移动操作能力。
查看arXiv页面 (https://arxiv.org/abs/2607.06403)查看PDF (https://arxiv.org/pdf/2607.06403)项目页面 (https://technology.robbyant.com/lingbot-vla-v2)GitHub306 (https://github.com/robbyant/lingbot-vla-v2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.06403)
在你的智能体中获取这篇论文:
hf papers read 2607\.06403
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
没有与此论文关联的模型
请在模型README.md中引用arxiv.org/abs/2607.06403以从此页面关联。
引用本文的数据集1
cy0307/awesome-egocentric-atlas 查看器• 30分钟前更新 • 816 • 1.21k • 5 (https://huggingface.co/datasets/cy0307/awesome-egocentric-atlas)
引用本文的Spaces0
没有与此论文关联的Space
请在Space README.md中引用arxiv.org/abs/2607.06403以从此页面关联。
包含本文的集合1
相似文章
@robbyant_brain: LingBot-VLA 2.0 现已开源——我们新一代的具身基础模型。6万小时高质量预训练数据…
LingBot-VLA 2.0,一个开源的具身基础模型,已发布,拥有6万小时预训练数据,支持17个品牌的20种机器人配置,在RTX 4090上推理时间低于130毫秒。
InternVLA-A1.5: 统一理解、潜在预见与行动以实现组合泛化
InternVLA-A1.5 将预训练的视觉语言模型与潜在空间中的未来预测相结合,以实现具有组合泛化和长视界执行能力的高效机器人操作,在模拟基准测试中取得了最先进的结果。
LabVLA:在科学实验室中落地视觉-语言-动作模型
LabVLA是一种面向科学实验室自动化的视觉-语言-动作模型,采用两阶段训练方法,结合动作令牌预训练与流匹配。通过在LabUtopia基准上利用模拟数据弥合家庭演示与实验室特定任务之间的差距,它实现了最先进的成功率。
AffordanceVLA: 一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型
AffordanceVLA引入了一个统一框架,利用结构化可供性预测作为中间表示,结合视觉-语言模型和混合Transformer架构,以改进机器人操作中的感知-动作映射。
IntentVLA: 针对混叠机器人操作的短期意图建模
IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。