将稀疏注意力作为范围搜索问题：迈向推理高效的 KV 缓存索引

arXiv cs.LG 论文
sparse-attention kv-cache llm-inference range-searching computer-science

摘要

本文介绍了 Louver，这是一种用于 KV 缓存检索的新型索引结构。它将稀疏注意力重新表述为范围搜索问题，保证零假阴性，并且比现有方法更高效。

arXiv:2605.06763v1 公告类型：新论文 摘要：稀疏注意力通过选择键值对（KV）条目的子集来提高大型语言模型（LLM）的推理效率，但这以潜在的性能下降为代价。特别是，遗漏关键的 KV 条目可能会导致模型输出出现显著误差。现有方法通常基于固定或自适应的令牌预算运行，并提供经验性的鲁棒性或部分理论保证，但它们无法确保在解码步骤中实现零假阴性，特别是因为相关令牌的集合既依赖于查询，也依赖于步骤。我们的实证观察证实，即使在长推理任务中重要令牌集合随解码过程变化的情况下，遗漏哪怕一个关键键也可能导致误差急剧上升。这一观察结果促使我们需要一种索引方法，该方法能够动态适应解码步骤中的这些变化，同时保证在特定阈值之上对相关键的完整召回率。我们通过将稀疏注意力重新表述为半空间范围搜索问题来解决这一挑战。然而，由于计算和实现开销过大，现有的范围搜索索引并不适用于现代 LLM 推理。为此，我们引入了 Louver，一种专为高效 KV 缓存检索设计的新型索引结构。Louver (i) 在理论和实践中均保证针对指定阈值的零假阴性，(ii) 轻量级且易于集成到现有的 LLM 管道中，(iii) 针对 CPU 和 GPU 执行采用了硬件感知的优化。我们的实验表明，Louver 在准确性和运行时间方面均优于先前的稀疏注意力方法，并且比高度优化的密集注意力（如 FlashAttention）更快。这些结果突显了召回保证是稀疏注意力中至关重要且被忽视的维度，并为构建具有理论基础的高效 KV 缓存索引开辟了新的方向。
查看原文
查看缓存全文

缓存时间: 2026/05/11 06:49 

# 将稀疏注意力视为范围搜索问题：迈向推理高效的 KV 缓存索引
来源：https://arxiv.org/abs/2605.06763
查看 PDF (https://arxiv.org/pdf/2605.06763)

> 摘要：稀疏注意力通过选择键值（key-value）条目的子集来提高大语言模型（LLM）的推理效率，但代价是可能导致精度下降。特别是，省略关键的 KV 条目会在模型输出中引发显著误差。现有方法通常在固定或自适应的令牌（token）预算下运行，并提供经验性的鲁棒性或部分理论保证，但它们无法确保在解码步骤中实现零假阴性（即不漏选相关条目），尤其是因为相关令牌的集合既依赖于查询，又依赖于解码步骤。我们的实证观察证实，即使遗漏一个关键键（key）也会导致误差急剧飙升，尤其是在重要令牌集合随解码过程变化的长推理任务中。这一观察结果突显了索引方法的必要性，这些方法能够动态适应解码步骤间的变化，同时保证在特定阈值之上对相关键的全召回。我们通过将稀疏注意力重构为半空间范围搜索问题来应对这一挑战。然而，现有的范围搜索索引由于计算和实现开销较大，并不适合现代 LLM 推理。为此，我们引入了 Louver，这是一种专为高效 KV 缓存检索设计的新颖索引结构。Louver（i）在理论和实践上均保证针对指定阈值实现零假阴性，（ii）轻量级且易于集成到现有 LLM 流水线中，（iii）包含针对 CPU 和 GPU 执行的硬件感知优化。我们的实验表明，Louver 在准确性和运行时间上均优于以往的稀疏注意力方法，并且比高度优化的密集注意力机制（如 FlashAttention）更快。这些结果表明，召回保证是稀疏注意力中一个至关重要却被忽视的维度，并为构建基于理论的、高效的 KV 缓存索引开辟了新的方向。

## 提交历史

来自：Mohsen Dehghankar [查看邮箱 (https://arxiv.org/show-email/a8d22b0e/2605.06763)] **[v1]**2026 年 5 月 7 日，星期四，17:37:56 UTC（4,009 KB）

相似文章

面向长推理的信息感知KV缓存压缩

arXiv cs.CL

本文提出InfoKV，一种熵感知的KV缓存压缩框架，结合了token级别的预测不确定性和注意力分数，以提高长上下文推理效率。实验表明，它在Llama-3.1、Llama-3.2和DeepSeek-R1上优于现有的基于注意力的方法。