面向超长上下文的新型稀疏注意力方法

Reddit r/LocalLLaMA 论文
sparse-attention long-context subquadratic-attention open-research inference-efficiency transformers

摘要

团队发布了 Latent Sparse Attention（LSA，潜在稀疏注意力）这一开放研究成果，实现了亚二次复杂度的注意力机制，在超长上下文中达到与全注意力相当的准确率，使稀疏注意力最高提速 22.7 倍，全注意力最高提速 72.4 倍。

今天，我们很高兴分享首批开放研究成果之一：潜在稀疏注意力（Latent Sparse Attention，LSA）。这是迈向亚二次复杂度注意力的一步，在超长上下文中可达到与全注意力相当的准确率。 稀疏注意力对每个查询仅关注少量词元，但必须找到正确的词元。在 1000 万词元的规模下，这一搜索过程占用了注意力层 98% 的运行时间。LSA 相比稀疏注意力最高可加速 22.7 倍，相比全注意力可加速 72.4 倍。 与 @kubicek_ales @caciolai @PengLiangzu @SukritSumant @Ben_Hoov @FraserGreenlee @RMBattleday @radim_urban @thoefler @jcrwhittington 共同完成
查看原文
查看缓存全文

缓存时间: 2026/11/03 00:11

今天，我们很高兴分享我们首批开放研究成果之一：潜在稀疏注意力（Latent Sparse Attention，LSA）。这是迈向亚二次复杂度注意力的一步，在超长上下文中可达到与全注意力相当的准确率。

稀疏注意力对每个查询仅关注少量词元，但必须找到正确的词元。在 1000 万词元的上下文中，这一搜索过程占据了注意力层 98% 的耗时。LSA 可将稀疏注意力的速度提升至最高 22.7 倍，将全注意力的速度提升至 72.4 倍。

合作伙伴：@kubicek_ales @caciolai @PengLiangzu @SukritSumant @Ben_Hoov @FraserGreenlee @RMBattleday @radim_urban @thoefler @jcrwhittington

相似文章

MiniMax 稀疏注意力

Hugging Face Daily Papers

MiniMax 稀疏注意力 引入了一种分块稀疏注意力机制，针对超长上下文的大语言模型实现了显著的加速。在1M上下文长度下，每个token的注意力计算减少28.4倍，在H800 GPU上预填充阶段实际速度提升14.2倍，解码阶段提升7.6倍。该方法附带了一个开源推理内核以及一个公开发布的多模态模型。

Lighthouse Attention（11分钟阅读）

TLDR AI

Lighthouse Attention是一种基于选择的分层注意力机制，通过在前向+反向传播中实现约17倍的速度提升（在512K上下文下），并在98K上下文中实现1.4–1.7倍的端到端加速，从而加速长上下文预训练。该机制使用Llama-3 530M模型在50B token上进行了验证。