论文页面 - Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models

来源: https://huggingface.co/papers/2609.37568

摘要

视听大语言模型（AVLLMs）通过视觉、听觉与语言信息之间的交互，在多模态理解与推理方面取得了显著进展。然而，近期研究表明 AVLLMs 面临一个关键挑战：来源混淆的接地幻觉（source-confused grounding hallucination），即未被使用的模态所携带的线索会诱发出所需模态无法支撑的回答，从而削弱其在真实应用场景中的可靠性。现有方法在缓解这一失效问题上已取得一定进展，但这种失效如何从模型内部的跨模态交互中产生，仍缺乏充分的理解。为弥补这一空白，我们开展了路径干预与表征分析，揭示了一种「问题中继」（question-relay）机制：问题状态在携带所需来源证据的同时，也携带来自其他模态的干扰线索，从而破坏了模型对所需模态证据的接地能力。与切断通往生成位置的路径相比，切断从干扰模态通往问题状态的路径能带来更大的正确答案 logit 恢复幅度。受这些发现启发，我们提出了 SECRET（SourcE-Conditioned RElays Teering，即基于来源的中继引导），这是一种免训练方法，在问题中继环节抑制跨模态干扰。SECRET 利用不同模态路径干预所激发的对比性问题表征，将原始问题状态引导向所需的来源证据。在两个广泛使用的基准 CMM 和 AVHBench 上，对三个 AVLLM 开展的实验表明，SECRET 持续优于现有的免训练方法，显著缓解了来源混淆的接地幻觉（例如，相比基础模型提升高达 +18.0 和 +7.1 个百分点）。模态特定的图像描述任务进一步证明了其在开放式生成任务上的泛化能力。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37568) 查看 PDF (https://arxiv.org/pdf/2609.37568) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37568)

在你的 agent 中获取该论文：

hf papers read 2609.37568

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型链接到该论文 在模型 README.md 中引用 arxiv.org/abs/2609.37568，即可从本页链接到该论文。

引用该论文的数据集 0

没有数据集链接到该论文 在数据集 README.md 中引用 arxiv.org/abs/2609.37568，即可从本页链接到该论文。

引用该论文的 Spaces 0

没有 Space 链接到该论文 在 Space README.md 中引用 arxiv.org/abs/2609.37568，即可从本页链接到该论文。

收录该论文的合集 0

没有合集收录该论文 将该论文添加到合集 (https://huggingface.co/new-collection)，即可从本页链接到该论文。