标签
Meituan 发布了 LongCat-Flash-Lite-Sparse，这是一款稀疏注意力模型，支持 1M token 上下文，每 token 仅激活约 3B 参数，在 MIT 许可下取得了强劲的 SWE-Bench 成绩。
ReTopK 是一种无需训练的方法，通过复用历史查询-支持对来加速长上下文大语言模型中的动态 Top-K 稀疏注意力，从而避免全上下文评分和全局 Top-K 选择。在 128K 上下文下，相比精确 Top-K，它实现了最高 3.07 倍的加速，且困惑度仅增加 0.50%。
CoSA 提出了一种无需训练的稀疏注意力方法，该方法协同设计了内核感知代理和有序跳过内核，以加速长上下文推理，实现了高达 4.93 倍的注意力加速和 2.53 倍的端到端 TTFT 降低，且性能下降可忽略不计。
Wonder是一个通用的视频世界模型，能够从一张图像或条件视频中实现实时、可控制摄像头的世界探索。它通过密集坐标场引入摄像头条件化，采用稀疏注意力记忆机制，并改进蒸馏技术，从而支持以16 FPS生成分钟级的视频。
RIS-Kernel 提出了一种模型无关的稀疏注意力架构（RIS），将长上下文 LLM 推理中的自注意力复杂度从 O(N^2) 降低到 O(N log N)，使得无需 GPU 加速即可在普通 CPU 硬件上运行。
本文提出了一种无参数的自适应稀疏注意力方法，利用gzip压缩比动态选择非冗余块进行长程注意力，在PG-19语言建模上相较于固定和学习的稀疏注意力基线取得了显著的困惑度提升。
本文测试了注意力权重能揭示模型输出实际依赖内容的假设，发现注意力与因果依赖常不一致。作者提出将干预掩码获得的因果证据集作为稀疏注意力路由器的监督信号，在注意力蒸馏路由器失败的检索任务上实现了近乎完美的准确率。
Sol-Engine 每周更新宣布集成 Sol Attention，一种用于视频扩散的无需训练的稀疏注意力方法，完整论文将于下周发布。
DWARF-55M-Base 是一种新型语言模型，采用近乎全稀疏注意力架构（DSQG），仅包含一个完整因果注意力层，能够实现高达2048 token的可靠检索，并可外推至该上下文长度的3倍。该模型作为研究原型发布，供社区实验使用。
FVAttn是一种无需训练的稀疏注意力系统，利用运行时负载均衡提升多GPU序列并行下自适应稀疏注意力的分布式执行效率。在基于步骤蒸馏的Wan2.2 I2V上，相比于FlashAttention，注意力速度提升最高达4.41倍，推理速度提升2.11倍，同时保持有竞争力的视频质量。
LiteTopK是一种用于长上下文稀疏注意力的融合索引器-top-k核，它利用维度灾难来减少内存流量并提高效率，在预填充阶段将GLM 5.2加速1.2倍。
MiniMax 开源了其原生多模态大模型 M3，参数约 428B（激活约 23B），支持 1M 上下文，并引入了 MiniMax Sparse Attention (MSA) 技术以提升长上下文效率。
介绍Flash-MSA，首个针对MiniMax稀疏注意力在Hopper和Blackwell GPU上的高性能开源训练内核，实现高效的百万token训练。
英伟达研究人员推出了SparDA，这是一种新的Transformer变体，它增加了一个第四投影（Forecast）来预测下一层的KV块，从而支持从CPU内存预取并降低选择成本，实现了解码速度提升1.7倍，并在长程推理任务上准确率提升6.5个百分点。
MiniCPM-SALA是一款9B参数的混合注意力模型，通过在稀疏注意力和线性注意力之间交替插入（每3个线性层插入1个稀疏层）来克服长上下文Transformer的二次计算和KV缓存瓶颈。在256K tokens下，其推理速度比Qwen3-8B快3.5倍，并能在消费级GPU上支持高达1M tokens。该模型采用经济高效的持续训练方法，训练成本降低约75%。
腾讯发布了HiLS-Attention-7B，一个70亿参数的模型，采用新颖的块状稀疏注意力机制，端到端地学习块选择，从而实现高效的长上下文建模，并能在超过4倍训练长度的场景下进行强大的外推。
MiniMax M3通过稀疏注意力保持上下文成本可预测且低廉，使500KToken的上下文在质量损失极小的情况下实现显著的速度提升，从而让长程智能体变得实用。
Hierarchical Global Attention (HGA) 是一种可直接替换预训练长上下文Transformer中密集因果注意力的方法。它采用分层两级路由机制，使得能够对一个小规模路由工作集进行精确注意力计算，从而允许像 Qwen3-30B 这样的模型在单个 RTX 5090 上以64K上下文运行，且质量损失极小。
本文研究了具有斐波那契间距偏移和逐层缩放因子的稀疏自注意力，发现静态逐层调度优于学习型或固定型调度，且稀疏变体在训练长度4倍时仍能稳健外推，而密集注意力则崩溃。
美团推出了 LongCat-2.0，这是一个 1.6 万亿参数的 MoE 模型，拥有 480 亿活跃参数和 100 万上下文长度，采用了新的 LongCat 稀疏注意力（LSA）方法，该方法结合了现有稀疏注意力技术的组件。