attention-kernel

FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核，以及零通信的分布式掩码定位机制，相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升，其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时，端到端加速达到 7.3%-11.0%。

Jetha Chan对SM100数据中心GPU的Attention核进行了反汇编，发现并修复了低效之处，从而显著提升了性能。