标签
Meta Engineering 扩展了 FlashAttention-4，增加了对 NVIDIA Blackwell 的 MXFP8 支持，实现了高达 2.85 PFLOP/s 的正向性能，并集成了如 GEM 这样的生产训练工作流。
文章详细介绍了 FlashAttention-4 的优化技术，包括用于解码的 S/P 乒乓方法以重叠操作，在 NVIDIA Blackwell GPU 上实现了高达 16% 的性能提升。