论文页面 - 多模态大语言模型在协同注意力头信息分布偏移时产生幻觉

来源: https://huggingface.co/papers/2609.09206

摘要

多模态大语言模型（MLLMs）常受幻觉问题困扰，这阻碍了其在实际应用中的可靠性。现有的基于注意力机制的缓解方法主要依赖间接信号（例如注意力权重），这些信号无法准确反映幻觉产生背后真实的信息偏移。本文提出HEAL——一种面向注意力头级别的信息解耦与校准方法，用于识别和缓解幻觉。HEAL首先通过因果噪声干预多头输出，筛选出因果冗余的注意力头。随后，利用反事实双重差分法解耦剩余注意力头中的信息分布，将注意力头分为四类。分析发现：当信息分布在协同注意力头中偏离健康的平衡状态时就会产生幻觉，而与模态特定注意力头的数量或强度无强相关性。基于此发现，HEAL向协同注意力头的值向量注入动态信息校准因子，主动调控视觉-语言依赖关系，引导输出分布趋向事实依据。大量实验表明，HEAL能有效降低多种MLLM的幻觉，为增强模型可信度提供了一条简单且可解释的途径。

查看 arXiv 页面 (https://arxiv.org/abs/2609.09206)查看 PDF (https://arxiv.org/pdf/2609.09206)GitHub0 (https://github.com/mason-ching/HEAL)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.09206)

在你的智能体中获取此论文：

hf papers read 2609.09206

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.09206 以从本页面链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.09206 以从本页面链接。

引用此论文的 Space0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.09206 以从本页面链接。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection)以从本页面链接。