attention-kernels

FastVideo团队发布了面向B300的全新FP4注意力内核，速度相比FlashAttention 4提升最高达1.69倍。

本文探讨了FlashAttention-3/4优化是否对RTX GPU有益，得出结论：由于消费级显卡的硬件限制，FA-2已是天花板。

一篇详细分析ThunderKittens的博客文章，ThunderKittens是用于高性能AI内核的紧凑型DSL。文章包括从底向上的抽象分析，以及一个实现非因果注意力预填充内核的基准测试，该内核比FlashAttention-2快约1.55倍，与FlashAttention-3性能相当。

月之暗面开源 FlashKDA，基于 CUTLASS 的 Kimi Delta Attention 核实现，在 H20 GPU 上预填充速度提升 1.72–2.22 倍。