标签
LlamAmpere 负责人发布了可在 8GB 显卡上运行的 Qwen3.8 27b 超低比特量化模型(2.1bpw/1.75bpw trellis 格式),借助潜在稀疏注意力与 SJKVaRN 技术实现 200k 上下文与 92.5% Top-1 匹配率,性能接近 BF16 且比 9b 模型高出 17% 基准分,为 8GB 显卡用户带来显著能力跃升。
论文提出 LightningMoBA,通过动态相对阈值路由、面向数据复用的 KV 中心查询分组以及在 Hopper GPU 上的流水线执行来加速 Mixture of Block Attention,端到端相比 FlashMoBA 实现 1.20–1.60 倍加速,并提升了 RULER 得分。
一篇 Reddit 帖子指出,一篇被广泛引用的 MLSys 论文(arXiv:2311.04934)未能正确实现其所声称的按块隔离的 KV 缓存处理,而是使用了完整的因果注意力机制——这使得用于支持其“输出质量不受影响”这一核心主张的实验失去了有效性。
该论文分析了稀疏注意力选择器在长上下文多键检索中准确率下降的原因,识别出少数“盲区”注意力头,并表明,仅在这些头中启用全注意力(或使用 4 位评分器),就能在 InfLLM-V2、NOSA、SeerAttention-R、NSA 和 DashAttention 模型中,以极低的首 token 延迟(TTFT)开销恢复接近全注意力的准确率。
RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。
NVIDIA 的开发者博客介绍了一份关于协同设计模型级稀疏注意力以实现高效长上下文推理的实用入门指南,利用 FP8 内核来调优索引器设计参数,并在 128K token 上下文下比较了 token 级与块级核心注意力。
Sevren 推出了 Embla 1,一款针对手机优化的推理模型,可在 4 bit 下私密离线运行,在五项基准测试中平均得分 57.4,在 iPhone 18 Pro 上端到端延迟为 1.77 秒,在同等或更低延迟下超越了更大的小模型。它采用定制 MoE 架构,配备稀疏注意力、共享 K/V 缓存和内存表,并通过 QAT 及从 Qwen3.5 模型进行的多阶段蒸馏训练。
MMFlash 通过自适应地提高视觉依赖型词元的权重,并对长视频输入使用稀疏注意力机制,改进了多模态推测解码,实现了最高 3.58 倍的无损解码加速,性能优于 EAGLE-3 和 DFlash。
论文提出Latent Sparse Attention(LSA),通过在潜空间中对Key做层级聚类,使Query只需对聚类中心打分,从而在10M超长上下文下将Qwen3.8-27B单层注意力Prefill加速72.4倍、Decode加速42.5倍,端到端首token延迟降至约1/9,且精度基本不掉。方法包含可蒸馏的D-LSA与原生训练的N-LSA两种变体,代码与蒸馏权重已开源。
团队发布了 Latent Sparse Attention(LSA,潜在稀疏注意力)这一开放研究成果,实现了亚二次复杂度的注意力机制,在超长上下文中达到与全注意力相当的准确率,使稀疏注意力最高提速 22.7 倍,全注意力最高提速 72.4 倍。
Zyphra Research 的一篇论文介绍了 Zyphra 分层注意力(ZHA),这是一种亚二次复杂度的稀疏注意力方法,在 KV 缓存上使用分层树状索引器,可通过短程 KL 蒸馏适配预训练模型,并在上下文长度超过 100 万时展现出显著更优的扩展性。
一篇研究论文,将长上下文扩散的成本表述为双重预算——注意力图的边数和激活的专家数——提出了 DualBudget 稀疏专家配置,给出了图规模与计算量的界限,并通过评估展示了在最高 16K 上下文长度下的性能提升,以及相较于 DiffuSeq 降低 20% 的成本。
一位开发者分享了开源的 vLLM 补丁和 Triton 内核,通过将完整的 int4 KV 缓存保存在系统内存中,并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token,实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告,总吞吐量约为 545–790 token/秒,在 25 万 token 的上下文长度下,召回成绩为 31/32。
一篇关于AI模型未来可能出现的架构创新的推测性讨论,包括循环Transformer、Gated Delta Net 2变体、注意力残差,以及扩散Transformer可能在不损失智能水平的前提下重新回归。
HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统,通过 HyTopK(免分数表的精确 top-k 选择)和选择重放(selection replay)技术,在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。
LazyFlash 提出一种前向稠密、后向稀疏的注意力机制,通过梯度感知的块稀疏化在保持模型性能的同时,实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速,适用于长上下文 LLM 微调。
NVIDIA 研究人员提出 MLIPS,一种免训练方法,通过在稀疏注意力层之间共享生产者层的广泛候选池,在 DeepSeek-V4-Flash 上实现 1.14–1.40 倍加速和 14.8–27.4% 的 GPU 能耗降低,且精度变化极小。
提出 ALLOT:一种免训练的块稀疏注意力分配方法,通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度,在 HunyuanVideo 上实现 11.8 dB PSNR 提升。
MiniMax-M3.1-Flash 是一个原生多模态混合专家(MoE)模型,约 428B 总参数(每 token 激活 23B),支持文本、图像和视频输入及 1M 上下文窗口,面向编码、智能体工作流、计算机使用和网络安全任务,并通过稀疏注意力、量化感知训练和 DSpark 投机解码提升推理效率。
论文提出联合子空间稀疏注意力(JSSA),通过学习共享低维查询-键子空间并设计免gather的索引注意力核,在128K上下文下实现最高6.43倍解码吞吐提升,同时保持接近全KV的精度。