稀疏特征策略遗忘缓解视觉-语言-动作模型中的状态幻觉

Hugging Face Daily Papers 论文

摘要

本文识别了视觉-语言-动作(VLA)模型中的状态幻觉问题,并提出了一种稀疏特征策略遗忘方法SOUL,通过选择性地遗忘与幻觉相关的特征,同时保留操作技能,从而减少模拟和真实机器人任务中的失败。

视觉-语言-动作(VLA)模型利用预训练视觉-语言模型的丰富表征,在机器人操作中展现出强大的泛化能力。然而,其在真实环境中的部署仍然受到反复出现的不可靠行为的限制。在本工作中,我们研究了状态幻觉——一种反复出现的失败模式,即VLA继续按照尚未实现的机器人-物体状态已经达成的方式行事。我们的分析发现,状态幻觉与对任务相关视觉区域的注意力减弱同时出现,而通过稀疏自编码器进行的机制性解释表明,与幻觉相关的稀疏特征在这些失败发生时被激活。基于上述分析,我们提出了SOUL(Sparse feature pOlicy UnLearning,稀疏特征策略遗忘),选择性地遗忘与状态幻觉行为相关的策略知识,其中从幻觉失败和成功行为中识别出的稀疏特征分别作为显式的遗忘目标和保留目标。在模拟和真实环境中针对多种VLA架构的实验表明,我们的方法显著减少了幻觉导致的失败,并在不大幅损害现有操作能力的前提下提升了任务成功率。这些结果表明,可解释的特征分析为选择性地修改机器人策略中的不良知识提供了实用的基础。
查看原文
查看缓存全文

缓存时间: 2026/10/20 07:34

论文页面 - 稀疏特征策略遗忘可缓解视觉-语言-动作模型中的状态幻觉

来源:https://huggingface.co/papers/2610.09496

摘要

研究人员发现了视觉-语言-动作模型中的状态幻觉问题,并提出稀疏特征遗忘方法,在保留操作技能的同时减少失败行为。

视觉-语言-动作(Vision-Language-Action,VLA)模型借助预训练视觉-语言模型的丰富表征,在机器人操作任务中展现出强大的泛化能力。然而,反复出现的不可靠行为仍限制了其在真实环境中的部署。本研究聚焦于状态幻觉——一种反复出现的失败模式,即 VLA 持续按照尚未实现的机器人-物体状态继续执行动作。我们的分析发现,状态幻觉与任务相关视觉区域注意力减弱相伴出现,而通过稀疏自编码器进行机制性解读进一步揭示,与幻觉相关的稀疏特征会在这些失败发生时被激活。基于上述分析,我们提出了 SOUL(Sparse feature Opolicy UnLearning,即稀疏特征策略遗忘),选择性地遗忘与状态幻觉行为相关的策略知识,其中从幻觉失败和成功行为中分别识别出的稀疏特征被作为显式的遗忘目标和保留目标。在多种 VLA 架构上进行的仿真与真实环境实验表明,该方法显著减少了幻觉导致的失败,提升了任务成功率,同时未对现有操作能力造成明显损害。这些结果表明,可解释的特征分析为选择性地修改机器人策略中的不良知识提供了切实可行的基础。

查看 arXiv 页面 查看 PDF 项目主页 添加到收藏

在你的 agent 中获取此论文:

hf papers read 2610\.09496

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集即可从此页面链接到该论文。

相似文章

InSight:通过可操控的VLA实现自主技能获取

Hugging Face Daily Papers

InSight提出了一种框架,用于在视觉-语言-动作(VLA)模型中实现自主技能获取。该框架通过在原始动作层面实现可操控性,并利用VLM引导的数据飞轮生成演示,从而在没有人类演示的情况下完成诸如翻转方块和倒水等操作任务。

HalluSAE:利用稀疏自编码器检测大型语言模型中的幻觉

arXiv cs.CL

北京航空航天大学等机构的研究人员提出了HalluSAE,这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹,来检测大型语言模型(LLM)中的幻觉,并精准定位发生事实性错误的关键过渡区域。

拆解病态捷径:用于忠实LVLM解码的因果框架

arXiv cs.AI

本文揭示了大视觉语言模型中的幻觉是由一种动态结构错位引起的,其中某些注意力头充当风险中介,与视觉证据解耦,转而锁定语言先验。作者提出了Fox,一种无需训练的因果干预框架,能够诊断并物理切断这些病态捷径,在忠实解码中实现了最先进的性能。