DoSA：点稀疏注意力

Hugging Face Daily Papers 论文
sparse-attention inference-optimization llm-efficiency top-k-selection gpu-acceleration token-selection

摘要

论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过阈值证书使索引器评分计算变为条件式执行，同时保持精确的词元选择；GPU 实现较 SGLang 加速最多 2.74 倍，并在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍的首词元时间加速。

稀疏注意力仅访问少量键，但找到这些键仍可能需要使用每个索引器头对每个键进行评分。我们提出 DoSA（Dots Sparse Attention），这是一种无损方法，可在保持精确 token 选择的同时，使这一计算按需进行。其核心观察是，Top-K 选择需要的是足以排除候选项的证据，而不一定是其完整得分。种子集合提供了入选阈值的下界。非负头投影与联合残差界为正贡献提供上界，而基于激活信息的聚合则约束负头所减去的量的大小。该判定证书将完整评分集中于仍有资格入选的候选项；精确得分过滤进一步减少了回写和选择工作。我们推导了该判定证书及其保证精确选择的条件，并分析了几何结构和选择裕量如何决定其有效性。在英语、中文和代码工作负载中，我们的 GPU 实现使完整索引器相较于 SGLang 和 LiteTopK 分别获得最高 2.74 倍和 1.69 倍的加速。在 GLM-5.2 和 DeepSeek-V3.2 上的端到端评估中，相较于这两个基线，首 token 生成时间分别获得最高 1.94 倍和 1.50 倍的加速。
查看原文
查看缓存全文

缓存时间: 2026/10/14 02:49

论文页面 - DoSA：Dots 稀疏注意力

来源：https://huggingface.co/papers/2610.13990

摘要

稀疏注意力仅访问少量键，但寻找这些键仍可能需要使用每个索引器头对每个键进行评分.我们提出 DoSA(Dots 稀疏注意力)，这是一种无损方法，可使这项计算按条件执行，同时保持完全一致的词元选择结果.其核心观察是，Top-K 选择需要足够的证据来排除候选项，而不一定需要其完整分数.一个种子集合提供了入选阈值的下界.非负头投影和联合残差界为正向贡献提供上界，而基于激活信息的聚合则对负向头所减去的量值进行界定.该判定证书将完整评分集中于仍有资格入选的候选项；精确分数过滤进一步减少了回写和选择工作.我们建立了该判定证书及其精确选择条件，并分析了几何结构和选择裕量如何决定其有效性.在英语、中文和代码工作负载中，我们的 GPU 实现使完整索引器相较于 SGLang 和 LiteTopK 分别获得最高 2.74 倍和 1.69 倍的加速.在 GLM-5.2 和 DeepSeek-V3.2 上的端到端评估中，相较于这两个基线，首词元生成时间分别获得最高 1.94 倍和 1.50 倍的加速.

查看 arXiv 页面 (https://arxiv.org/abs/2610.13990)查看 PDF (https://arxiv.org/pdf/2610.13990)GitHub5 (https://github.com/llm-sys/flash-indexer)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.13990)

在你的智能体中获取这篇论文：

hf papers read 2610\.13990

没有最新版本的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.13990，即可从此页面链接到该模型.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.13990，即可从此页面链接到该数据集.

引用这篇论文的 Spaces0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13990，即可从此页面链接到该 Space.

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到一个合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.

相似文章

通过Gist Tokens的简化稀疏注意力

Hugging Face Daily Papers

本文介绍了简化稀疏注意力（SSA），一种在持续预训练中使用Gist令牌的方法，能够在推理时无需架构更改即可实现高效的分块选择，取得了高压缩比，并在LongBench和检索增强生成等长上下文任务上优于基线。

SparDA：用于高效长上下文 LLM 推理的稀疏解耦注意力

arXiv cs.CL

SparDA 提出了一种解耦稀疏注意力架构，通过添加轻量级"Forecast"投影来预测未来的 KV 缓存需求，从而实现从 CPU 到 GPU 的预取（lookahead prefetching），并降低选择开销。在基于稀疏预训练的 8B 模型上，其 prefill 速度最高可提升 1.25×，decode 速度最高可提升 1.7×，相比非 offload 基线，decode 吞吐量最高可提升 5.3×。