thunderkittens

强烈推荐，由Ben Spector讲授的4.5小时GPU编程课程，深入介绍CUDA和ThunderKittens，提供内核优化的幕后视角。

QuixiAI 将 ThunderKittens 移植到了 Metal，从而在 MPS 和 MLX 上实现了内核支持，使得可以在 Mac 上训练模型。

介绍 Dan Fu，他是 FlashAttention、Hyena、Monarch Mixer 和 ThunderKittens 等高性能内核的关键贡献者，现为 Together AI 的杰出研究员，其工作成果被用于 ChatGPT、Claude 和 Gemini。

一篇详细分析ThunderKittens的博客文章，ThunderKittens是用于高性能AI内核的紧凑型DSL。文章包括从底向上的抽象分析，以及一个实现非因果注意力预填充内核的基准测试，该内核比FlashAttention-2快约1.55倍，与FlashAttention-3性能相当。