标签
本文揭示了大视觉语言模型中的幻觉是由一种动态结构错位引起的，其中某些注意力头充当风险中介，与视觉证据解耦，转而锁定语言先验。作者提出了Fox，一种无需训练的因果干预框架，能够诊断并物理切断这些病态捷径，在忠实解码中实现了最先进的性能。
本文提出了正负解码（PND），这是一种无需训练的推理框架，通过在解码过程中对比正向视觉证据与负向反事实来减少视觉-语言模型中的对象幻觉。