通过动态路由、KV 中心执行与运行时流水线加速 Mixture of Block Attention

Hugging Face Daily Papers 论文

摘要

论文提出 LightningMoBA,通过动态相对阈值路由、面向数据复用的 KV 中心查询分组以及在 Hopper GPU 上的流水线执行来加速 Mixture of Block Attention,端到端相比 FlashMoBA 实现 1.20–1.60 倍加速,并提升了 RULER 得分。

Mixture of Block Attention(MoBA)通过为每个查询选择 key-value(KV)块来减少长上下文计算。FlashMoBA 高效实现了 MoBA,但仍保留固定的 Top-k 预算和以查询为中心的调度方式。固定 Top-k 对不同的分数分布应用同一预算,并将路由与任务粒度耦合;当多个范围选中同一列时,基于查询范围的归属方式会碎片化 K/V 复用。我们提出 LightningMoBA,通过动态路由、KV 中心归属和运行时流水线协同设计选择与执行。动态路由对 MoBA 的逐查询块分数进行阈值化,并直接生成基数可变的稀疏元数据。KV 中心归属按(查询头、KV 块)列对选中行分组,将高扇出列拆分为有界任务,并复用每个任务已加载的 KV tile。在 Hopper 上,流水线将规则的 K/V 传输和不规则的查询聚集与 Tensor Core 计算重叠执行。这些机制共同将保留策略与 GPU 调度粒度解耦。在五个检查点上匹配 Top-16 保留率的条件下,LightningMoBA 将端到端生成加速 1.20 至 1.60 倍,同时将平均 RULER 得分从 74.42 提升至 75.28。
查看原文
查看缓存全文

缓存时间: 2026/11/20 11:35

论文页面 - 通过动态路由、KV 中心执行和运行时流水线加速 Block 稀疏注意力(MoBA)

来源:https://huggingface.co/papers/2611.26268

稀疏注意力通过减少不必要的计算来提升效率。然而在 GPU 上,稀疏索引的构建、不规则的内存访问以及任务调度可能会抵消部分收益。MoBA 通过将每个 query 路由到相关的 KV 块来减少计算量,FlashMoBA 则进一步优化了 GPU 上的执行。在此基础上,我们针对两个局限性进行了改进:固定的 Top-k 预算无法适应不同 query 的分数分布;以 query 为中心的任务分配方式会导致跨任务重复加载 KV 块,限制了数据复用。

我们设计了 LightningMoBA,联合优化路由与 GPU kernel 执行,相比 FlashMoBA 有三项主要改进:

🔹 动态路由: 用相对阈值替代固定的 Top-k,使每个 query 保留数量不同的相关块。稀疏索引在打分过程中直接生成,无需维护有序的 Top-k 候选集,也无需训练额外的 indexer。

🔹 KV 复用: 在每个注意力头内,将访问相同 KV 块的 query 分组,使每个任务复用其已加载的 K/V。对被高频访问的块,其工作量被拆分到多个任务中,以限定单个任务的负载。

🔹 流水线执行: 在 Hopper GPU 上,将数据搬运与 query 聚合操作与 Tensor Core 计算重叠执行,从而减少停顿。

🚀 我们的实验同时评估了端到端性能和各项优化的单独贡献。 在完整的 RULER 套件上,覆盖五个模型和 4K 到 128K 的上下文长度,将平均保留预算与 Top-16 对齐后,每个模型相比 FlashMoBA 获得 1.20–1.60 倍的端到端平均加速,同时 RULER 整体平均分从 74.42 提升至 75.28。为了将路由收益与执行后端的改进区分开来,我们还在相同的优化后端下对比了两种路由策略。在两个模型的六组配置中,Top-64 预算下的动态路由在速度和质量上均有提升,实现了 1.16–1.56 倍的端到端加速以及 RULER 分数 0.85–5.95 个百分点的提升。

我们还将 LightningMoBA 扩展到了训练场景。在一个 100 步、128K 上下文长度的 Qwen3-4B 训练实验中,两种路由策略均使用相同的优化前向和适配后的反向实现。动态路由在 Top-32 和 Top-64 下分别实现了 1.23 倍和 1.60 倍的端到端训练加速,同时两种策略的训练交叉熵损失保持接近。

我们希望 LightningMoBA 能够进一步提升 MoBA 的训练和推理效率,并为在 GPU 上实现其他动态稀疏注意力方法提供有价值的参考。

相似文章

学习跳跃块:自我发现的超度量路由用于硬件加速稀疏注意力

Reddit r/artificial

本文介绍了动态超度量注意力(Dynamic Ultrametric Attention),这是一个框架,其中Transformer在训练期间学习每头块稀疏路由拓扑,然后在推理时将这些拓扑卸载到自定义的Triton块稀疏内核上,与密集注意力相比,实现了高达28倍的加速和98.4%的内存减少。

训练具有部分双向性的混合块扩散语言模型

arXiv cs.LG

本文提出了一种用于块扩散语言模型的混合Mamba-注意力架构,该架构将反向Mamba扫描限制在活跃去噪块内,从而实现了块间的精确缓存,并在长上下文生成中达到了高吞吐量。

FlashMask-3:高效且富有表达力的掩码感知分布式注意力

Hugging Face Daily Papers

FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核,以及零通信的分布式掩码定位机制,相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升,其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时,端到端加速达到 7.3%-11.0%。

EasyBalance:分布式MoE推理中的跨层负载均衡

arXiv cs.LG

本文提出了EasyBalance,一种用于分布式混合专家(MoE)推理的跨层负载均衡策略。该策略在不修改专家-设备映射的情况下,调度并联合执行来自不同层的工作负载,以减少GPU空闲时间。实验表明,该策略可将空闲时间减少40%以上。