通过动态路由、KV 中心执行与运行时流水线加速 Mixture of Block Attention
摘要
论文提出 LightningMoBA,通过动态相对阈值路由、面向数据复用的 KV 中心查询分组以及在 Hopper GPU 上的流水线执行来加速 Mixture of Block Attention,端到端相比 FlashMoBA 实现 1.20–1.60 倍加速,并提升了 RULER 得分。
查看缓存全文
缓存时间: 2026/11/20 11:35
论文页面 - 通过动态路由、KV 中心执行和运行时流水线加速 Block 稀疏注意力(MoBA)
来源:https://huggingface.co/papers/2611.26268
稀疏注意力通过减少不必要的计算来提升效率。然而在 GPU 上,稀疏索引的构建、不规则的内存访问以及任务调度可能会抵消部分收益。MoBA 通过将每个 query 路由到相关的 KV 块来减少计算量,FlashMoBA 则进一步优化了 GPU 上的执行。在此基础上,我们针对两个局限性进行了改进:固定的 Top-k 预算无法适应不同 query 的分数分布;以 query 为中心的任务分配方式会导致跨任务重复加载 KV 块,限制了数据复用。
我们设计了 LightningMoBA,联合优化路由与 GPU kernel 执行,相比 FlashMoBA 有三项主要改进:
🔹 动态路由: 用相对阈值替代固定的 Top-k,使每个 query 保留数量不同的相关块。稀疏索引在打分过程中直接生成,无需维护有序的 Top-k 候选集,也无需训练额外的 indexer。
🔹 KV 复用: 在每个注意力头内,将访问相同 KV 块的 query 分组,使每个任务复用其已加载的 K/V。对被高频访问的块,其工作量被拆分到多个任务中,以限定单个任务的负载。
🔹 流水线执行: 在 Hopper GPU 上,将数据搬运与 query 聚合操作与 Tensor Core 计算重叠执行,从而减少停顿。
🚀 我们的实验同时评估了端到端性能和各项优化的单独贡献。 在完整的 RULER 套件上,覆盖五个模型和 4K 到 128K 的上下文长度,将平均保留预算与 Top-16 对齐后,每个模型相比 FlashMoBA 获得 1.20–1.60 倍的端到端平均加速,同时 RULER 整体平均分从 74.42 提升至 75.28。为了将路由收益与执行后端的改进区分开来,我们还在相同的优化后端下对比了两种路由策略。在两个模型的六组配置中,Top-64 预算下的动态路由在速度和质量上均有提升,实现了 1.16–1.56 倍的端到端加速以及 RULER 分数 0.85–5.95 个百分点的提升。
我们还将 LightningMoBA 扩展到了训练场景。在一个 100 步、128K 上下文长度的 Qwen3-4B 训练实验中,两种路由策略均使用相同的优化前向和适配后的反向实现。动态路由在 Top-32 和 Top-64 下分别实现了 1.23 倍和 1.60 倍的端到端训练加速,同时两种策略的训练交叉熵损失保持接近。
我们希望 LightningMoBA 能够进一步提升 MoBA 的训练和推理效率,并为在 GPU 上实现其他动态稀疏注意力方法提供有价值的参考。
相似文章
学习跳跃块:自我发现的超度量路由用于硬件加速稀疏注意力
本文介绍了动态超度量注意力(Dynamic Ultrametric Attention),这是一个框架,其中Transformer在训练期间学习每头块稀疏路由拓扑,然后在推理时将这些拓扑卸载到自定义的Triton块稀疏内核上,与密集注意力相比,实现了高达28倍的加速和98.4%的内存减少。
训练具有部分双向性的混合块扩散语言模型
本文提出了一种用于块扩散语言模型的混合Mamba-注意力架构,该架构将反向Mamba扫描限制在活跃去噪块内,从而实现了块间的精确缓存,并在长上下文生成中达到了高吞吐量。
{基于HBF的有趣论文}2607.10186] FlashAccel: 利用高带宽闪存(HBF)实现高吞吐量LLM推理
FlashAccel是一个协同设计的系统,它将高带宽闪存集成到GPU中以增强LLM推理,通过减轻访问延迟和优化带宽利用来提高吞吐量和能效。
FlashMask-3:高效且富有表达力的掩码感知分布式注意力
FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核,以及零通信的分布式掩码定位机制,相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升,其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时,端到端加速达到 7.3%-11.0%。
EasyBalance:分布式MoE推理中的跨层负载均衡
本文提出了EasyBalance,一种用于分布式混合专家(MoE)推理的跨层负载均衡策略。该策略在不修改专家-设备映射的情况下,调度并联合执行来自不同层的工作负载,以减少GPU空闲时间。实验表明,该策略可将空闲时间减少40%以上。