InternVLA-A1.5: 统一理解、潜在预见与行动以实现组合泛化

Hugging Face Daily Papers 论文

摘要

InternVLA-A1.5 将预训练的视觉语言模型与潜在空间中的未来预测相结合,以实现具有组合泛化和长视界执行能力的高效机器人操作,在模拟基准测试中取得了最先进的结果。

用于机器人操作的统一模型旨在为单一策略赋予预训练VLM的语义先验知识以及通过未来预测学习到的物理动态。然而在实践中,现有设计往往会侵蚀预训练骨干网络的语义,遭受不同目标之间的干扰,并从零开始在像素空间中学习未来预测,从而使得预训练视频生成器的动态先验知识未被利用。我们提出了InternVLA-A1.5,该策略基于原生VLM骨干网络构建,持续在VQA和子任务预测上进行训练,并附加了一个轻量级统一专家模块用于连续动作生成。未来预测被重新构造成一个潜在查询问题,其中一小部分可学习的预见性标记在冻结的预训练视频生成模型的监督下,将与任务相关的未来信息压缩成紧凑的潜在编码,从而使策略继承世界模型的动态先验知识,而无需学习像素级生成。视频分支在推理时被丢弃,从而保持实时控制。InternVLA-A1.5 在120万机器人回合数据和300万多模态样本上进行了预训练,在所有六个模拟基准测试中均取得了最佳总体结果。在现实世界中,保留的语义在未见过的指令绑定上实现了最强的组合泛化能力,而这两种设计共同支撑了长视界执行。
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:42

论文页面 - InternVLA-A1.5:融合理解、潜在预见与动作以实现组合泛化

来源:https://huggingface.co/papers/2607.04988

作者:

(此处省略具体作者名,按原文保留空行)

摘要

InternVLA-A1.5 将预训练的视觉-语言模型与潜在空间中的未来预测相结合,使得机器人操作在保留语义信息的同时能够高效执行长程任务。

面向机器人操作的统一模型旨在赋予单一策略两方面的能力:一是预训练 VLM 的语义先验,二是通过未来预测学到的物理动态。然而在实践中,现有设计往往会侵蚀预训练骨干网络的语义能力,遭受异构目标之间的干扰,并且必须在像素空间中从头学习未来预测,从而无法利用预训练视频生成模型中的动态先验。我们提出了 InternVLA-A1.5,该策略建立在原生 VLM 骨干网络之上,持续在 VQA 和子任务预测上进行训练,并附加了一个轻量级统一专家模块用于连续动作生成。未来预测被重构为一个潜在查询问题:通过一组可学习的“预见标记”(foresight tokens),在冻结的预训练视频生成模型的监督下,将任务相关的未来信息压缩成紧凑的潜在编码,从而使策略能够继承世界模型的动态先验,而无需学习像素级生成。视频分支在推理时被舍弃,保证了实时控制。InternVLA-A1.5 在 120 万机器人操作数据和 300 万多模态样本上进行了预训练,在所有六个仿真基准上取得了最佳整体表现。在真实世界中,保留的语义能力在未见过的指令绑定上实现了最强的组合泛化,而上述两种设计共同支撑了长程任务执行。

查看 arXiv 页面 (https://arxiv.org/abs/2607.04988) 查看 PDF (https://arxiv.org/pdf/2607.04988) 项目页面 (https://internrobotics.github.io/internvla-a15.github.io/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04988)

在您的 agent 中获取此论文:

hf papers read 2607\.04988

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型(1个)

InternRobotics/InternVLA-A1.5-base • 机器人学 • 3B • 更新于约3小时前 • 6 • 5 (https://huggingface.co/InternRobotics/InternVLA-A1.5-base)

引用此论文的数据集(0个)

暂无链接此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2607.04988 即可从此页面关联。

引用此论文的 Spaces(0个)

暂无链接此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2607.04988 即可从此页面关联。

包含此论文的收藏集(0个)

暂无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面关联。

相似文章

IntentVLA: 针对混叠机器人操作的短期意图建模

Hugging Face Daily Papers

IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。

视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟

Hugging Face Daily Papers

视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。

从基础到应用:在实践中改进VLA模型

Papers with Code Trending

本文介绍了LingBot-VLA 2.0,它通过改进跨任务和具身形态的泛化能力、将动作空间扩展至全身自由度,并引入预测动力学建模以提升时间推理能力,从而增强了用于机器人技术的VLA基础模型。