论文页面 - 语言模型能够控制自己的注意力

来源: https://huggingface.co/papers/2609.02737

摘要

声明式注意力让语言模型在推理过程中声明相关的上下文区域，从而跳过大部分KV缓存读取，在略微牺牲准确率的情况下减少需要关注的token数量。语言模型将大部分注意力集中在一小部分上下文上，却必须读取整个KV缓存（https://huggingface.co/papers?q=KV%20cache）来寻找关键的几个token。如果用户在100万token的对话中询问之前某个细节，全局注意力（https://huggingface.co/papers?q=global%20attention）层必须扫描完整上下文才能生成回复的每个token。一种主流方法通过轻量级代理分数预先选择相关token来缓解这种成本，但这种外部评分仍然需要每步O(N)的复杂度。我们从内在角度出发，基于一个简单的问题：模型难道不是已经知道上下文的哪些部分是相关的吗？为此，我们引入了声明式注意力（https://huggingface.co/papers?q=Declarative%20Attention）（DA）协议，该协议引导模型在思维链（https://huggingface.co/papers?q=chain-of-thought）中声明需要关注的位置，将生成过程划分为三种模式：完整上下文、特定区域和仅最近输出。推理引擎像解析工具调用一样解析这些声明，并跳过大部分KV缓存（https://huggingface.co/papers?q=KV%20cache）读取。在对15个长上下文（https://huggingface.co/papers?q=long-context）任务的零样本评估中，DA在现成模型（Gemma-4-31B、Qwen-3.6-27B）上显著减少了解码过程中的总关注token数量（52.0%、31.1%），准确率适度下降（1.27pp、2.75pp）且随着模型规模增大而缩小。DA解锁了稀疏注意力（https://huggingface.co/papers?q=sparse%20attention）的新维度，未来研究可以探索基于训练方法的进一步潜力。

查看arXiv页面 (https://arxiv.org/abs/2609.02737) 查看PDF (https://arxiv.org/pdf/2609.02737) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.02737)

在您的智能体中获取此论文： hf papers read 2609.02737 还没有最新的CLI？ curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

0 个模型链接此论文 在模型README.md中引用 arxiv.org/abs/2609.02737 以从此页面链接。

引用此论文的数据集

0 个数据集链接此论文 在数据集README.md中引用 arxiv.org/abs/2609.02737 以从此页面链接。

引用此论文的Spaces

0 个Space链接此论文 在Space README.md中引用 arxiv.org/abs/2609.02737 以从此页面链接。

包含此论文的收藏集

0 个收藏集包含此论文 将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。