标签
Maxwell-V1.0-Flash 是 Maxwell 团队推出的一款 35B 总参数 / 3B 激活参数的 MoE(Mixture-of-Experts)语言模型,具备 256K 上下文长度,采用 Block Sparse Attention(块稀疏注意力)、流形约束超连接(manifold-constrained hyper-connections)以及针对东南亚语言优化的多语言分词器;基于约 26T token 训练,并通过两阶段 SFT 加多分支强化学习(RL)后训练流程进行优化。
FreeSolo 提出了一种原生稀疏注意力机制,结合短程滑动窗口和基于长程关键点的双分支结构,实现线性时间复杂度,并在无需昂贵的长上下文微调的情况下,将零样本长度外推能力提升至 256k+ token。
作者介绍了 ALHR(Adaptive Learnable Hierarchical Routing,自适应可学习分层路由),一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中,每个查询平均仅读取约 30 个键(相比之下稠密注意力需要读取 512 个),实现了约 35.3 倍的 KV 压缩,同时保持接近的准确率,并将推理复杂度降至 NlogN,显存占用线性扩展。
研究人员提出BioBigBird,一个基于稀疏注意力机制、可处理最长4096 token的双向生物医学预训练语言模型,并通过多任务学习联合优化命名实体识别(NER)和关系抽取,在BLURB基准上取得了具有竞争力的结果。
论文提出 MASA,主张稀疏注意力应被视为矩阵逼近问题而非简单挑选大的注意力值,并通过闭式打分度量每个稀疏单元对矩阵乘积误差的削减,在多种稀疏注意力方法和 LLM 上取得一致的精度提升。
本文提出SPIN(Shadow Predictive Indexer),一种免训练的方法,利用历史解码迭代中的indexer分数预测重要KV块,从而跳过部分上下文评分,实现30-40%的稀疏度,在vLLM端到端服务中吞吐量最高提升14.9%,中位ITL降低13.2%。
提出 MC-Sparse,一个免训练的元缓存稀疏注意力框架,通过分析稠密-稀疏注意力差距的三大来源,在视频与3D生成中实现最高2.32倍去噪加速且几乎无质量损失。
Prism提出一种动态稀疏注意力框架,用于在原生2K分辨率下训练联合视频-音频生成模型。该方法通过将token序列组织为时空宏区域,并结合音频-视频跨模态信号自适应地为每个区域分配注意力块的形状,实现了相比全注意力2.5倍的训练加速,同时生成质量更优。
Percepta 发布了 Spotlight——一种全新的 LLM 架构。它将固定大小的智能模块与可无限扩展、可写入的记忆相分离,使模型能够在不改动权重的情况下不断积累知识和技能,同时无论记忆规模多大,每个 token 的访问成本都保持恒定。
北京大学研究人员提出 NAMOH,这是一种架构原生的稀疏注意力机制,每个 token 仅激活 H 个头中的 K 个,使头路由同时决定活跃参数量和可用上下文。该机制使参数扩展能够直接支撑高效的长上下文扩展,在总参数量相同的情况下优于全激活模型,同时与 GQA 及现有稀疏注意力方法保持兼容。
SMat-Attention 引入了具有可调 VC 维度的结构化因果掩码,在 softmax attention 与 linear attention 之间架起桥梁,实现了亚二次方的 prefill、常数时间的解码(缓存状态为 O(T^{1-1/d})),并在召回能力上优于 Mamba-2 和 Gated DeltaNet 等骨干网络。
SparseEngine 是一个从零构建的稀疏优先推理引擎,其共享的生命周期契约使每种稀疏注意力方法都能自主控制其 KV 表示与计算。与 vLLM 相比,结合 KV 淘汰可实现超过 10 倍的吞吐量提升,并在 Agent 基准测试中带来超过 2 倍的端到端加速。
WorldAttention 提出了一种高效的注意力架构,采用 Hybrid Sparse Attention 和 Hierarchical KV Cache,用于交互式视频世界模型,在 VBench-Long 和 InterVBench 等基准测试上实现了最先进的性能。
论文提出 DoSA(Dots Sparse Attention),一种无损稀疏注意力方法,通过阈值证书使索引器评分计算变为条件式执行,同时保持精确的词元选择;GPU 实现较 SGLang 加速最多 2.74 倍,并在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍的首词元时间加速。
Prism 是一个动态稀疏注意力框架,用于以原生分辨率训练 2K 的视频-音频联合生成模型。它通过时空宏块划分与内容自适应的块形状分配,在实现 2.5 倍训练加速的同时,生成质量超越全注意力模型,由复旦大学与腾讯混元联合发布。
本文分析了循环语言模型中注意力路由的演变,并提出了WISE,一种无需训练的推理方法,该方法重用已稳定的稀疏注意力支持,以实现高达1.76倍的注意力加速,同时在多跳问答基准测试上保持性能。
Elastic Threshold Attention (ETA) 是一种可训练的稀疏注意力架构,它通过使用从查询表示中预测的动态阈值,在不降低质量的情况下提高长上下文解码速度。
RBS-Attention引入了一种无需训练的稀疏预填充方法,采用双分支选择来缓解长上下文LLM推理中的均值稀释问题,在H100 GPU上实现最高20.65倍加速,同时在基准测试中保持接近稠密模型的质量。
本文介绍了 Adaptive-Scalable Entmax (ASEntmax),一种可学习的稀疏注意力机制,在transformers中实现高达1000倍的长度外推,提升长上下文泛化能力的同时保持短上下文性能。
HiSparse 和稀疏注意力技术正被集成到 vLLM 中,以减少内存使用并提高并发性,从而提升强化学习的推理吞吐量。