标签
本文研究多模态大模型中的检索头机制如何随输入模态扩展，发现跨模态共享的检索头虽不足2%，却对文档理解、空间感知等至关重要，并通过排序目标优化这些注意力头，将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。
该论文研究多模态大模型（MLLM）中的稀疏检索头在新增音频-视觉模态下的分布与共享机制，并通过排序目标优化这些注意力头，将 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。
论文介绍了 LOGOS，一种写感知检测器，通过将其 OV 电路输出投影到答案令牌反嵌入方向上的得分来识别 LLM 中负责非字面检索的注意力头，在多个模型家族中优于先前的基于注意力的方法。
本文系统分析了高效注意力模块在混合语言模型架构中的作用，发现不同设计在充分训练下长上下文性能趋于一致，且长距离检索主要由全注意力承担，而高效注意力塑造了优化轨迹，揭示了一个称为“大窗口懒惰”的现象。