flashattention

作者发布了一个免费、代码优先的 GPU 内核工程系列课程（共 44 节）的介绍与路线图视频，从朴素 GEMM 讲到 FlashAttention，覆盖 Hopper 与 Blackwell 架构，并以 roofline 模型和数据移动为核心教学理念。

该论文提出用短多项式（degree-3/4 BF16）替代 LLM 中原生的 sigmoid、tanh 和 SiLU 超越函数求值，在 NVIDIA GB200 上将完整训练步吞吐提升最高 8.0%，同时保持相近的训练损失和模型精度。

本文探讨了在预训练大语言模型中近似softmax以实现内核加速，展示了在Blackwell B200上最高可达25.8%的加速性能提升，同时对困惑度的影响最小。

本文按瓶颈问题组织了AI中的13种注意力机制，涵盖KV缓存缩减、注意力模式、计算效率和服务效率，以帮助AI工程师理解和应用这些技术。

FlashPrefill V2通过均值校正的稀疏注意力和优化的GPU算子改善了长上下文LLM服务，相比FlashAttention-2和稠密基线提供了显著的加速。

本文以NVIDIA H100为例，阐明了GPU在AI推理中的性能受限于内存带宽而非算力，并解释了GPU架构及其对token生成速率的影响。

本文探讨了FlashAttention-3/4优化是否对RTX GPU有益，得出结论：由于消费级显卡的硬件限制，FA-2已是天花板。

介绍 Dan Fu，他是 FlashAttention、Hyena、Monarch Mixer 和 ThunderKittens 等高性能内核的关键贡献者，现为 Together AI 的杰出研究员，其工作成果被用于 ChatGPT、Claude 和 Gemini。

深入理解 FlashAttention 的可视化讲解，涵盖内存优化和算子融合，以实现语言模型训练中的高效注意力计算。