@levidiamode: GPU编程第158/365天——我觉得我大致理解了FlashAttention 2、3和4前向传播的高级区别…
摘要
作者记录了学习GPU编程的进展,重点在于理解FlashAttention 2、3和4前向传播的高级区别,并列出了需要进一步探索的几个底层概念。
查看缓存全文
缓存时间: 2026/06/10 23:58
GPU 编程的第 158/365 天
我觉得我现在理解了 FlashAttention 2、3 和 4 前向传递的高级区别,但对每个算法的低级细节以及反向传递还没有掌握。
需要花更多时间学习协作线程数组(cooperative thread arrays)、共享内存(DSMEM)、exp 函数的仿真、行最大值/行和(rowmax/rowsum)、warp 分区与特化(warp partitioning and specialization)、WGMMA、异步(asynchrony)、生产者/消费者流水线(producer/consumer pipelines)等概念。
levi (@levidiamode): 157/365 of GPU Programming
另一个对我非常有帮助的 FlashAttention4 资源是 @charles_irl 去年在 GPU Mode 上做的演讲(基本上是《我们逆向工程了 Flash Attention 4》博客文章的讲座版,那篇文章也很棒),内容是关于 FA4 的代码。 https://youtu.be/…
相似文章
@levidiamode: GPU编程第157/365天:另一个对我非常有帮助的FlashAttention4资源是@charles_irl的演讲…
一个每日GPU编程帖子重点介绍了Charles_irl的演讲,该演讲在论文发布前逆向工程了FlashAttention4代码,并赞扬了Modal团队对代码的深入剖析和对前向传播的合理推断。
在RTX GPU上探索FlashAttention-3/4优化
本文探讨了FlashAttention-3/4优化是否对RTX GPU有益,得出结论:由于消费级显卡的硬件限制,FA-2已是天花板。
@levidiamode: Day 138/365 of GPU Programming 今年我最喜欢的讲座之一是斯坦福大学的CS336第7讲关于GPU…
一位学习者分享了对斯坦福大学CS336第7讲关于GPU并行性的热情,该讲座涵盖了基本操作,并将其连接到多GPU设置以及张量并行、数据并行和流水线并行等技术。
@ZhihuFrontier:GPU编程因张量核心速度太快无法喂饱而改变。知乎作者THU-PACMAN实验室分享了一个精辟的剖析…
详细剖析了NVIDIA GPU编程从Volta到Blackwell的演变,重点突出了从同步线程模型到异步数据流的转变以及喂饱张量核心的挑战。文章讨论了TMA、TMEM和tcgen05 MMA等新硬件特性,并展示了FlashAttention-3和FlashMLA等现代内核如何利用这些变化实现更高利用率。
@Hass_Abdallah11: 我们有两篇新的 Colfax 文章,关于优化 FlashAttention-4,其中包括我(解码)和 Jack Carlisle(反向传播)的工作…
文章详细介绍了 FlashAttention-4 的优化技术,包括用于解码的 S/P 乒乓方法以重叠操作,在 NVIDIA Blackwell GPU 上实现了高达 16% 的性能提升。