@eliebakouch: 该模型引入的新型稀疏注意力方法基本上是对现有方法组件的组合……

X AI KOLs Following 模型
sparse-attention long-context moe large-language-model attention-mechanism

摘要

美团推出了 LongCat-2.0，这是一个 1.6 万亿参数的 MoE 模型，拥有 480 亿活跃参数和 100 万上下文长度，采用了新的 LongCat 稀疏注意力（LSA）方法，该方法结合了现有稀疏注意力技术的组件。

该模型引入的新型稀疏注意力方法基本上是对现有方法组件的组合。让我们逐一回顾每种稀疏注意力方法以及它们从中保留了哪些内容： - DeepSeek 稀疏注意力（DSA）：保留了 top-k 索引器，这是所有后续稀疏注意力方法的基础 - DSA + 索引共享（GLM 5.2）：在多个层级间共享索引 - MiniMax 稀疏注意力（以及 DeepSeek 的 NSA）：进行块级 top-k 索引 -> 再增加一个令牌级 top-k，以精确选择所选块中的每个令牌 - 压缩稀疏注意力（来自 DeepSeek V4）以及 NSA：保留滑动窗口 -> 还增加了一个 Sink Token（据我所知） 总结：他们进行块级索引，然后在所选块上进行令牌级索引，并增加滑动窗口和 Sink 组件，预算分配比例为 50/50。他们在各层级间共享令牌级 top-k。
查看原文
查看缓存全文

缓存时间: 2026/06/30 07:42

该模型引入的新稀疏注意力方法基本上是现有方法的组件组合。我们来逐一分析每种稀疏注意力方法以及它们从中保留的部分：

  • DeepSeek 稀疏注意力 (DSA)：保留了 top-k 索引器，这是所有后续稀疏注意力方法的基础
  • DSA + 索引共享 (GLM 5.2)：在多个层之间共享索引
  • MiniMax 稀疏注意力（以及 DeepSeek 的 NSA）：采用块级 top-k 索引 → 再在 token 级别添加一个 top-k，以精确选择所选块中的每个 token
  • 压缩稀疏注意力（DeepSeek V4 以及 NSA）：保留滑动窗口 → 还添加了一个 sink token（如果我没记错的话）

简而言之：他们执行块级索引，然后对所选块进行 token 级索引，并加上滑动窗口和 sink 组件，预算按 50/50 拆分。token 级别的 top-k 在各层之间共享。

美团 LongCat (@Meituan_LongCat)： 隆重推出 LongCat-2.0 🐱 1.6T 参数 · MoE 约 48B 激活参数 · 1M 上下文 这是 @OpenRouter 上 Owl Alpha 背后的完整模型——现已可用。

从头为智能体编程构建： ◆ LongCat 稀疏注意力 (LSA) —— 为 1M 上下文 token 高效扩展 ◆

相似文章

面向超长上下文的新型稀疏注意力方法

Reddit r/LocalLLaMA

团队发布了 Latent Sparse Attention（LSA，潜在稀疏注意力）这一开放研究成果，实现了亚二次复杂度的注意力机制，在超长上下文中达到与全注意力相当的准确率，使稀疏注意力最高提速 22.7 倍，全注意力最高提速 72.4 倍。

MiniMax 稀疏注意力

Hugging Face Daily Papers

MiniMax 稀疏注意力 引入了一种分块稀疏注意力机制，针对超长上下文的大语言模型实现了显著的加速。在1M上下文长度下，每个token的注意力计算减少28.4倍，在H800 GPU上预填充阶段实际速度提升14.2倍，解码阶段提升7.6倍。该方法附带了一个开源推理内核以及一个公开发布的多模态模型。

tencent/HiLS-Attention-7B · Hugging Face

Reddit r/LocalLLaMA

腾讯发布了HiLS-Attention-7B，一个70亿参数的模型，采用新颖的块状稀疏注意力机制，端到端地学习块选择，从而实现高效的长上下文建模，并能在超过4倍训练长度的场景下进行强大的外推。