Logit贡献评分识别非字面检索头

Hugging Face Daily Papers 论文
research retrieval attention-heads llm interpretability scoring-method logit-contribution

摘要

本文介绍了LOCOS，一种用于识别大型语言模型中负责非字面上下文合成的注意力头的方法，在检索基准上优于现有技术。

在长上下文使用中，大型语言模型经常根据相关上下文片段的意义综合答案，而不是字面复制粘贴。识别哪些注意力头执行这种综合对于解释长上下文模型行为很重要。然而，现有的检测器由于构建方式而漏掉了这些头：它们奖励那些被关注token与生成token匹配的头，这是一种字面复制标准，它捕获了头读取的位置，但没有捕获头通过其输出值(OV)电路写入的内容，而OV电路正是承载非字面检索的机制。我们引入了Logit贡献评分(LOCOS)，一种写感知检测器，通过将头的OV电路输出投影到答案token的解嵌入方向上来评分每个头，在单次前向传播中对比针与针外源位置。在三个模型系列（Qwen3、Gemma-3、OLMo-3.1）上，在NoLiMa非字面检索基准上平均消融顶部LOCOS头，比先前的基于注意力的检测在更少的头数量下使ROUGE-L崩溃；在Qwen3-8B上，消融50个头将ROUGE-L从0.401降至0.000，而最强的基线仍然保持0.292。选中的头是检索特定的：在同一消融下，参数召回和算术推理保持在基线水平。在Qwen3-8B上，相同的消融也将MuSiQue从0.55降至0.08，BABI-Long从0.62降至0.20，而随机头控制保持在基线的0.05以内。
查看原文
查看缓存全文

缓存时间: 2026/07/03 15:55

论文页面 - 对数贡献评分识别非字面检索头

来源: https://huggingface.co/papers/2607.01002

摘要

对数贡献评分（LOCOS）通过衡量注意力头输出值电路对答案令牌的贡献，识别大型语言模型中负责非字面上下文合成的注意力头，在检索基准上优于现有方法。

在长上下文使用中，大型语言模型常常从相关上下文段的含义中合成答案，而非直接复制粘贴。识别哪些注意力头（https://huggingface.co/papers?q=attention%20heads）执行此合成对于解释长上下文模型行为至关重要。然而，现有检测器在构造上遗漏了这些头：它们奖励所关注令牌与生成令牌匹配的头，这是一种字面复制标准，捕捉了头读取的位置，但不捕捉头通过其输出值（OV）电路写入的内容，而后者正是实现非字面检索（https://huggingface.co/papers?q=non-literal%20retrieval）的机制。我们引入了对数贡献评分（https://huggingface.co/papers?q=Logit-Contribution%20Scoring）（LOCOS），一种写入感知检测器，通过将每个头的OV电路（https://huggingface.co/papers?q=OV-circuit）输出投影到答案令牌反嵌入（https://huggingface.co/papers?q=answer-token%20unembedding）方向上进行评分，并在单次前向传播中对比针源位置与非针源位置。在三个模型族（Qwen3、Gemma-3、OLMo-3.1）上，在NoLiMa非字面检索（https://huggingface.co/papers?q=non-literal%20retrieval）基准上，对排名靠前的LOCOS头进行平均消融后，在较少的头数量下即比先前基于注意力的检测方法更大幅地降低ROUGE-L（https://huggingface.co/papers?q=ROUGE-L）；在Qwen3-8B上，消融50个头使ROUGE-L（https://huggingface.co/papers?q=ROUGE-L）从0.401降至0.000，而最强的基线仍保留0.292。所选头具有检索特异性：在同种消融下，参数化召回（https://huggingface.co/papers?q=parametric%20recall）和算术推理（https://huggingface.co/papers?q=arithmetic%20reasoning）保持基线水平。在Qwen3-8B上，相同的消融还将MuSiQue（https://huggingface.co/papers?q=MuSiQue）从0.55降至0.08，BABI-Long（https://huggingface.co/papers?q=BABI-Long）从0.62降至0.20，而随机头对照保持在基线的0.05范围内。

查看arXiv页面 (https://arxiv.org/abs/2607.01002) 查看PDF (https://arxiv.org/pdf/2607.01002) 项目页面 (https://aryopg.com/locos/) GitHub0 (https://github.com/aryopg/locos) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.01002)

在您的agent中获取此论文：

hf papers read 2607.01002

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.01002 以从此页面链接。

引用此论文的数据集2

aryopg/locos-results (https://huggingface.co/datasets/aryopg/locos-results)

aryopg/parametric-arithmetic-eval 查看器•更新于1天前 • 600 • 38 (https://huggingface.co/datasets/aryopg/parametric-arithmetic-eval)

引用此论文的Spaces0

没有Space链接到此论文

在Space README.md中引用 arxiv.org/abs/2607.01002 以从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。

相似文章

Logit-Contribution Scoring 识别非字面检索头

arXiv cs.CL

论文介绍了 LOGOS，一种写感知检测器，通过将其 OV 电路输出投影到答案令牌反嵌入方向上的得分来识别 LLM 中负责非字面检索的注意力头，在多个模型家族中优于先前的基于注意力的方法。

语言模型真的能进行上下文检索吗？在百万token规模的文档中挣扎

arXiv cs.CL

本文系统研究了百万token规模下的上下文检索，介绍了BlockSearch——一个0.6B参数的语言模型检索器，并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能，并在需要不同相似性概念的任务上显著优于密集检索，突显了上下文检索的潜力，同时强调了在极端上下文增长下注意力控制的重要性。