稀疏特征策略遗忘缓解视觉-语言-动作模型中的状态幻觉
摘要
本文识别了视觉-语言-动作(VLA)模型中的状态幻觉问题,并提出了一种稀疏特征策略遗忘方法SOUL,通过选择性地遗忘与幻觉相关的特征,同时保留操作技能,从而减少模拟和真实机器人任务中的失败。
查看缓存全文
缓存时间: 2026/10/20 07:34
论文页面 - 稀疏特征策略遗忘可缓解视觉-语言-动作模型中的状态幻觉
来源:https://huggingface.co/papers/2610.09496
摘要
研究人员发现了视觉-语言-动作模型中的状态幻觉问题,并提出稀疏特征遗忘方法,在保留操作技能的同时减少失败行为。
视觉-语言-动作(Vision-Language-Action,VLA)模型借助预训练视觉-语言模型的丰富表征,在机器人操作任务中展现出强大的泛化能力。然而,反复出现的不可靠行为仍限制了其在真实环境中的部署。本研究聚焦于状态幻觉——一种反复出现的失败模式,即 VLA 持续按照尚未实现的机器人-物体状态继续执行动作。我们的分析发现,状态幻觉与任务相关视觉区域注意力减弱相伴出现,而通过稀疏自编码器进行机制性解读进一步揭示,与幻觉相关的稀疏特征会在这些失败发生时被激活。基于上述分析,我们提出了 SOUL(Sparse feature Opolicy UnLearning,即稀疏特征策略遗忘),选择性地遗忘与状态幻觉行为相关的策略知识,其中从幻觉失败和成功行为中分别识别出的稀疏特征被作为显式的遗忘目标和保留目标。在多种 VLA 架构上进行的仿真与真实环境实验表明,该方法显著减少了幻觉导致的失败,提升了任务成功率,同时未对现有操作能力造成明显损害。这些结果表明,可解释的特征分析为选择性地修改机器人策略中的不良知识提供了切实可行的基础。
在你的 agent 中获取此论文:
hf papers read 2610\.09496
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。
引用此论文的数据集 0
没有数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。
引用此论文的 Spaces 0
没有 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2610.09496 即可从此页面链接到该论文。
包含此论文的合集 0
没有合集包含此论文
将此论文添加到合集即可从此页面链接到该论文。
相似文章
InSight:通过可操控的VLA实现自主技能获取
InSight提出了一种框架,用于在视觉-语言-动作(VLA)模型中实现自主技能获取。该框架通过在原始动作层面实现可操控性,并利用VLM引导的数据飞轮生成演示,从而在没有人类演示的情况下完成诸如翻转方块和倒水等操作任务。
EventVLA: 事件驱动的视觉证据记忆用于长时域视觉-语言-动作策略
EventVLA 提出了一种稀疏视觉证据记忆框架用于长时域机器人操作,相较于最先进的记忆增强型VLA,平均成功率提升了40%。
HalluSAE:利用稀疏自编码器检测大型语言模型中的幻觉
北京航空航天大学等机构的研究人员提出了HalluSAE,这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹,来检测大型语言模型(LLM)中的幻觉,并精准定位发生事实性错误的关键过渡区域。
FADE:通过减少语言先验主导性来缓解大型视觉语言模型中的幻觉
本文提出FADE,一种无需训练的方法,通过削弱关键层的FFN输出来减少语言先验主导性,从而缓解大型视觉语言模型中的幻觉,并在多个基准测试中证明了有效性。
拆解病态捷径:用于忠实LVLM解码的因果框架
本文揭示了大视觉语言模型中的幻觉是由一种动态结构错位引起的,其中某些注意力头充当风险中介,与视觉证据解耦,转而锁定语言先验。作者提出了Fox,一种无需训练的因果干预框架,能够诊断并物理切断这些病态捷径,在忠实解码中实现了最先进的性能。