论文页面 - 更广泛地审视 MLLM 的检索头

来源：https://huggingface.co/papers/2610.32411

摘要

检索头在视听模态中仍然稀疏且共享，优化它们可以提升多模态模型的文档检索性能。

在长输入中定位相关证据是多模态大语言模型（Multimodal Large Language Models）的核心能力。已有研究将这一能力归因于检索头（retrieval heads）——一组稀疏的注意力头（attention heads），负责将上下文中的信息传递到输出。然而，这些分析仅局限于有限的模态和相应的模型。此外，如何利用检索头来增强模型仍有待进一步探索。在本文中，我们探究这一机制是否会随模型输入模态的扩展而扩展。以视听输入（audio-visual input）作为新增模态，我们构建了配对输入，其中相同的答案要么以语音形式呈现，要么以屏幕显示形式呈现。在证据内容固定的情况下，检索头在新模态中仍然稀疏，并且在很大程度上在模态之间共享。在涵盖 18 个语言、视觉语言和全模态检查点的实验中，全模态模型（omni-modal models）在很大程度上保留了其骨干模型的检索头。消融这些头几乎消除了全部视听检索能力。跨模态共享的头仅占所有头的不到 2%，但消融它们同样会损害文档理解、空间感知和视觉数学能力。基于这些发现，我们将检索头作为优化目标，通过排序目标（ranking objective）对其注意力进行训练。这使 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升了 6.03 个百分点，并在三个模型家族中改善了文档检索性能。功能性的注意力头因此既可以作为审视多模态模型的透镜，也可以作为改进模型的优化目标。

查看 arXiv 页面（https://arxiv.org/abs/2610.32411）查看 PDF（https://arxiv.org/pdf/2610.32411）项目主页（https://qdcassie-li.github.io/MLLM-Retrieval-heads/）添加到合集（https://huggingface.co/login?next=%2Fpapers%2F2610.32411）

在你的 agent 中获取本文：

hf papers read 2610\.32411

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.32411 即可从此页面链接它。

引用本文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.32411 即可从此页面链接它。

引用本文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.32411 即可从此页面链接它。

包含本文的合集 0

没有合集包含本文

将本文添加到合集（https://huggingface.co/new-collection）即可从此页面链接它。