InternVLA-A1.5: 统一理解、潜在预见与行动以实现组合泛化
摘要
InternVLA-A1.5 将预训练的视觉语言模型与潜在空间中的未来预测相结合,以实现具有组合泛化和长视界执行能力的高效机器人操作,在模拟基准测试中取得了最先进的结果。
查看缓存全文
缓存时间: 2026/07/07 06:42
论文页面 - InternVLA-A1.5:融合理解、潜在预见与动作以实现组合泛化
来源:https://huggingface.co/papers/2607.04988
作者:
(此处省略具体作者名,按原文保留空行)
摘要
InternVLA-A1.5 将预训练的视觉-语言模型与潜在空间中的未来预测相结合,使得机器人操作在保留语义信息的同时能够高效执行长程任务。
面向机器人操作的统一模型旨在赋予单一策略两方面的能力:一是预训练 VLM 的语义先验,二是通过未来预测学到的物理动态。然而在实践中,现有设计往往会侵蚀预训练骨干网络的语义能力,遭受异构目标之间的干扰,并且必须在像素空间中从头学习未来预测,从而无法利用预训练视频生成模型中的动态先验。我们提出了 InternVLA-A1.5,该策略建立在原生 VLM 骨干网络之上,持续在 VQA 和子任务预测上进行训练,并附加了一个轻量级统一专家模块用于连续动作生成。未来预测被重构为一个潜在查询问题:通过一组可学习的“预见标记”(foresight tokens),在冻结的预训练视频生成模型的监督下,将任务相关的未来信息压缩成紧凑的潜在编码,从而使策略能够继承世界模型的动态先验,而无需学习像素级生成。视频分支在推理时被舍弃,保证了实时控制。InternVLA-A1.5 在 120 万机器人操作数据和 300 万多模态样本上进行了预训练,在所有六个仿真基准上取得了最佳整体表现。在真实世界中,保留的语义能力在未见过的指令绑定上实现了最强的组合泛化,而上述两种设计共同支撑了长程任务执行。
查看 arXiv 页面 (https://arxiv.org/abs/2607.04988) 查看 PDF (https://arxiv.org/pdf/2607.04988) 项目页面 (https://internrobotics.github.io/internvla-a15.github.io/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04988)
在您的 agent 中获取此论文:
hf papers read 2607\.04988
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型(1个)
InternRobotics/InternVLA-A1.5-base • 机器人学 • 3B • 更新于约3小时前 • 6 • 5 (https://huggingface.co/InternRobotics/InternVLA-A1.5-base)
引用此论文的数据集(0个)
暂无链接此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2607.04988 即可从此页面关联。
引用此论文的 Spaces(0个)
暂无链接此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2607.04988 即可从此页面关联。
包含此论文的收藏集(0个)
暂无包含此论文的收藏集
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面关联。
相似文章
IntentVLA: 针对混叠机器人操作的短期意图建模
IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。
视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟
视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。
AffordanceVLA: 一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型
AffordanceVLA引入了一个统一框架,利用结构化可供性预测作为中间表示,结合视觉-语言模型和混合Transformer架构,以改进机器人操作中的感知-动作映射。
从基础到应用:在实践中改进VLA模型
本文介绍了LingBot-VLA 2.0,它通过改进跨任务和具身形态的泛化能力、将动作空间扩展至全身自由度,并引入预测动力学建模以提升时间推理能力,从而增强了用于机器人技术的VLA基础模型。
EventVLA: 事件驱动的视觉证据记忆用于长时域视觉-语言-动作策略
EventVLA 提出了一种稀疏视觉证据记忆框架用于长时域机器人操作,相较于最先进的记忆增强型VLA,平均成功率提升了40%。