flashattention

本文以NVIDIA H100为例，阐明了GPU在AI推理中的性能受限于内存带宽而非算力，并解释了GPU架构及其对token生成速率的影响。

本文探讨了FlashAttention-3/4优化是否对RTX GPU有益，得出结论：由于消费级显卡的硬件限制，FA-2已是天花板。

介绍 Dan Fu，他是 FlashAttention、Hyena、Monarch Mixer 和 ThunderKittens 等高性能内核的关键贡献者，现为 Together AI 的杰出研究员，其工作成果被用于 ChatGPT、Claude 和 Gemini。

深入理解 FlashAttention 的可视化讲解，涵盖内存优化和算子融合，以实现语言模型训练中的高效注意力计算。