@ziv_ravid: 我读了GLM-5.2报告，发现他们使用了IndexShare，这是一个巧妙且简单的技巧。常规注意力机制让每个词元都…
摘要
IndexShare是GLM-5.2报告中提到的一种技术，它在稀疏注意力中跨多个层共享一个索引器，通过避免每层重复选择top-k，在1M上下文长度下将FLOPs降低了2.9倍。
查看缓存全文
缓存时间: 2026/06/18 04:07
我阅读了 GLM-5.2 报告，发现他们使用了 IndexShare，这是一个很酷又简单的小技巧。
常规注意力机制让每个 token 都关注所有其他 token，这就是大家一直想解决的二次成本问题。稀疏注意力是一种变通方案：每个 token 只关注一小部分相关 token，而不是全部。在 DSA 中，选取这一小部分 token 的方式是一个小型的“索引器”，它给键（keys）打分并保留 top-k。这个索引器依然很廉价，但选取得很好，因为它通过 KL 散度损失来训练，模仿真实的注意力分布；事实证明，对哪些 token 重要进行排序，远比计算精确的注意力要简单，因此它可以在 FP8 精度下运行。
问题在于，索引器本身也是二次复杂度的，而且它在每一层都运行。因此，在 1M 上下文长度下，大部分算力都花在了决定关注哪些 token 上，而不是真正的注意力计算上。
IndexShare 的巧妙之处在于，它并非每层都运行索引器，而是将同一个索引器共享给一组 4 层，让其他 3 层复用这个选择结果。他们在 1M 长度下实现了每个 token 的 FLOPs 降低 2.9 倍！其核心假设是：值得关注的 token 集合在不同层之间几乎不变，因此每层重新计算是一种浪费。
当然，在不同层之间共享的想法并不新鲜。像 HySparse 或 Kascade 这类方法也做了类似的重用，但它们在网络中保留了少数真正的密集注意力层来计算“真实”的选择。GLM 则更进一步，直接重用一个本身已是近似的索引器的输出，而且这之所以可行，是因为模型在训练中期开始就采用这种方式进行训练，而不是在推理时突然切换。
非常简单！
相似文章
zai-org/GLM-5
zai-org 发布 GLM-5 系列，其中 GLM-5.2 在代码基准测试中取得了开源模型最佳性能，支持 100 万 token 上下文，并采用 IndexShare 稀疏注意力机制改进架构。
zai-org/GLM-5.2-FP8
Z.AI 发布 GLM-5.2，一款旗舰级开源模型，拥有可靠的 1M token 上下文窗口，改进的编码能力，以及新的 IndexShare 稀疏注意力架构，在 1M 上下文下 FLOPs 减少了 2.9 倍。
@mervenoyann: GLM-5.2 与 Opus 4.8 相当，具有 1M 上下文 > 新的 IS 注意力每 4 个稀疏层重用一次索引器（2.9× 每…）
GLM-5.2 是一款可与 Opus 4.8 相媲美的新模型，具有 1M 上下文、新的 IS 注意力机制、改进的推测解码和灵活的思考努力级别。它已在 MIT 许可证下发布，并在 transformers、vLLM 和 SGLang 中提供 Day-0 支持。
MISA：用于长上下文大语言模型推理的索引器混合稀疏注意力机制
本文介绍了 MISA，这是一种将混合专家（MoE）方法应用于稀疏注意力机制中索引器头部的技术，在保持性能的同时显著降低了长上下文大语言模型推理的计算成本。
@askalphaxiv: "MiniMax Sparse Attention" Minimax 的这篇论文向 GQA 添加了一个微小的索引分支，用于为每组选择 top k 个 KV 块……
Minimax 的这篇论文介绍了 MiniMax Sparse Attention，它向 GQA 添加了一个微小的索引分支，用于为每组选择 top-k KV 块，从而实现 GPU 原生的稀疏性，并在一个 109B 多模态 MoE 上实现了指数级的加速。