LazyAttention：通过延迟位置编码实现高效检索增强生成

arXiv cs.CL 论文
retrieval-augmented-generation kv-cache attention-mechanism positional-encoding inference-efficiency long-context llm

摘要

LazyAttention 提出了一种新颖的注意力机制，通过延迟位置编码来实现跨多个请求的零拷贝、位置无关的 KV 缓存复用。在文档分布倾斜的 RAG 场景下，该方法与 Block-Attention 相比，首 token 生成时间缩短至原来的 1/1.37×，推理吞吐量提升 1.40×。

arXiv:2606.04302v1 公告类型：新论文 摘要：键值（KV）缓存通过复用已生成 token 的历史计算结果，加速大语言模型（LLM）的推理过程。在检索增强生成（RAG）和上下文学习（ICL）等长上下文应用场景中，其重要性尤为突出。然而，传统 KV 缓存将位置信息直接嵌入缓存中，限制了其可复用性。现有解决方案要么仅支持前缀复用，要么需要进行代价高昂的内存实体化以重新编码位置信息。我们提出 LazyAttention，一种新颖的注意力机制，通过将延迟位置编码核函数化，实现零拷贝、位置无关的 KV 复用。LazyAttention 在注意力核中动态调整位置编码，从而消除实体化瓶颈，使单份物理 KV 副本能够在任意位置服务多个逻辑请求。借助专为预填充和解码阶段定制的注意力核，我们的系统实现了显著的效率提升：在文档分布倾斜的场景下，与最先进的 Block-Attention 相比，首 token 生成时间（TTFT）缩短 1.37$\times$，推理吞吐量提升 1.40$\times$，同时保持相当的输出质量。
查看原文
查看缓存全文

缓存时间: 2026/06/05 02:13 

# LazyAttention：基于延迟位置编码的高效检索增强生成

来源：https://arxiv.org/abs/2606.04302
查看 PDF (https://arxiv.org/pdf/2606.04302)

> **摘要：** 键值（KV）缓存通过复用已生成 token 的历史计算结果来加速大型语言模型（LLM）的推理过程，在检索增强生成（RAG）和上下文学习（ICL）等长上下文应用场景中尤为重要。然而，传统 KV 缓存将位置信息直接嵌入缓存中，限制了其可复用性。现有解决方案要么仅支持前缀复用，要么需要代价高昂的内存实体化来重新编码位置信息。我们提出 LazyAttention，一种新颖的注意力机制，通过对延迟位置编码进行核化处理，实现零拷贝、位置无关的 KV 复用。LazyAttention 在注意力核内动态调整位置编码，从而消除实体化瓶颈，使单份物理 KV 副本能够在任意位置服务于多个逻辑请求。借助专为预填充和解码阶段优化的注意力核，本系统实现了显著的效率提升：在文档分布偏斜的场景下，与最先进的 Block-Attention 相比，首 token 生成时间（TTFT）降低 1.37 倍，推理吞吐量提升 1.40 倍，同时保持相当的输出质量。

## 提交历史

作者：Haocheng Xia \[查看邮箱 (https://arxiv.org/show-email/dd48bd35/2606.04302)\] **\[v1\]** 2026 年 6 月 3 日（周三）00:12:22 UTC（103 KB）

相似文章

上下文优化下的检索增强生成：从梯度下降视角

arXiv cs.CL

本文研究检索增强生成作为上下文优化过程，表明线性自注意力可以在统一的RAG目标上实现梯度下降。它提出了一种轻量级方法，适用于冻结的RAG大语言模型，通过预测上下文条件的更新，在多个问答基准上提升了性能。

SparDA：用于高效长上下文 LLM 推理的稀疏解耦注意力

arXiv cs.CL

SparDA 提出了一种解耦稀疏注意力架构，通过添加轻量级"Forecast"投影来预测未来的 KV 缓存需求，从而实现从 CPU 到 GPU 的预取（lookahead prefetching），并降低选择开销。在基于稀疏预训练的 8B 模型上，其 prefill 速度最高可提升 1.25×，decode 速度最高可提升 1.7×，相比非 offload 基线，decode 吞吐量最高可提升 5.3×。

动态线性注意力

arXiv cs.CL

本文提出DLA，一种用于多状态线性注意力的动态内存建模框架，它能根据令牌信息变化自适应地合并状态，并维护固定大小的状态缓存，从而在无需标准注意力二次复杂度的前提下实现更好的长上下文表示。