IntentVLA: 针对混叠机器人操作的短期意图建模
摘要
IntentVLA 是一种历史条件视觉-语言-动作框架,通过从视觉观察中编码短期意图来提高机器人模仿学习的稳定性,解决了部分可观察性和模糊观察带来的挑战。它还引入了 AliasBench,这是一个用于评估此类方法的模糊感知基准。
查看缓存全文
缓存时间: 2026/05/15 04:23
论文页面 - IntentVLA: 面向歧义机器人操控的短时意图建模
来源:https://huggingface.co/papers/2605.14712 作者:
,
,
,
,
,
,
,
,
,
摘要
IntentVLA 是一种基于历史条件的视觉-语言-动作框架,通过编码来自视觉观测的短时意图,提升机器人模仿学习的稳定性,应对部分可观测性和歧义观测带来的挑战。
机器人模仿数据通常具有多模态性:相似的视觉-语言观测可能后续跟随不同的动作段,因为人类演示者执行时带有不同的短时意图 (https://huggingface.co/papers?q=short-horizon%20intents)、任务阶段或近期的上下文。现有的基于帧条件 (https://huggingface.co/papers?q=frame-conditioned) 的 VLA 策略仅从当前观测和指令推断每个动作段,因此在部分可观测性 (https://huggingface.co/papers?q=partial%20observability) 下,它们可能在相邻的重新规划步骤中重新采样不同的意图,导致段间冲突和不稳定的执行。我们引入了 IntentVLA,一种基于历史条件 (https://huggingface.co/papers?q=history-conditioned) 的 VLA 框架,将最近的视觉观测编码为紧凑的短时意图表征 (https://huggingface.co/papers?q=intent%20representation),并利用它来条件化段生成。我们进一步引入了基于 RoboTwin2 (https://huggingface.co/papers?q=RoboTwin2) 的 AliasBench (https://huggingface.co/papers?q=AliasBench),一个包含12个任务的歧义感知基准 (https://huggingface.co/papers?q=ambiguity-aware%20benchmark),具有匹配的训练数据和评估环境,隔离了短时观测歧义。在 AliasBench (https://huggingface.co/papers?q=AliasBench)、SimplerEnv、LIBERO 和 RoboCasa 上,IntentVLA 提升了 rollout 稳定性 (https://huggingface.co/papers?q=rollout%20stability),并优于强大的 VLA 基线。
查看 arXiv 页面 (https://arxiv.org/abs/2605.14712) 查看 PDF (https://arxiv.org/pdf/2605.14712) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.14712)
在你的 agent 中获取此论文:
hf papers read 2605\.14712
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2605.14712 以将其链接到此页面。
引用此论文的数据集0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2605.14712 以将其链接到此页面。
引用此论文的 Space0
没有 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2605.14712 以将其链接到此页面。
包含此论文的收藏夹0
没有包含此论文的收藏夹
将此论文添加到一个收藏夹 (https://huggingface.co/new-collection) 以将其链接到此页面。
相似文章
EventVLA: 事件驱动的视觉证据记忆用于长时域视觉-语言-动作策略
EventVLA 提出了一种稀疏视觉证据记忆框架用于长时域机器人操作,相较于最先进的记忆增强型VLA,平均成功率提升了40%。
AffordanceVLA: 一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型
AffordanceVLA引入了一个统一框架,利用结构化可供性预测作为中间表示,结合视觉-语言模型和混合Transformer架构,以改进机器人操作中的感知-动作映射。
InternVLA-A1.5: 统一理解、潜在预见与行动以实现组合泛化
InternVLA-A1.5 将预训练的视觉语言模型与潜在空间中的未来预测相结合,以实现具有组合泛化和长视界执行能力的高效机器人操作,在模拟基准测试中取得了最先进的结果。
视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟
视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。
InSight:通过可操控的VLA实现自主技能获取
InSight提出了一种框架,用于在视觉-语言-动作(VLA)模型中实现自主技能获取。该框架通过在原始动作层面实现可操控性,并利用VLM引导的数据飞轮生成演示,从而在没有人类演示的情况下完成诸如翻转方块和倒水等操作任务。