@ekzhang1：我看着像这个家伙一样写真正的GPU内核的人 :)
摘要
AI模型Claude被用于使用pyptx DSL编写FlashAttention前向内核，在NVIDIA B200硬件上实现了与手工调优的FlashAttention-4近乎相同的性能。
查看缓存全文
缓存时间: 2026/07/08 03:41
👀 我盯着像这位一样写真正 GPU 内核的人 :)
Patrick C Toulme (@PatrickToulme): Claude Fable 使用 pyptx DSL 为 NVIDIA B200 (Blackwell) 编写了一个 FlashAttention 前向内核，其性能达到 FlashAttention-4（手工调优的 CUTLASS 内核）的 0.92–0.99 倍——在两个序列长度上持平，约 1350 TFLOPS bf16。
它是用 pyptx（我的 Python DSL，可输出原始 PTX）编写的。
相似文章
@PatrickToulme: 这个练习让我相信DSL和编译器的未来在很大程度上是代理化的。编程语言和DSL但…
Claude Fable 使用 pyptx DSL 为 NVIDIA B200 编写了一个 FlashAttention 前向内核，其性能与手动调优的 CUTLASS 内核接近，展示了 AI 代理在编译器和 DSL 设计中的潜力。
@h100envy: 构建了NVIDIA TensorRT-LLM内核的CMU博士用68分钟讲解快速注意力——比1200美元的GPU课程更胜一筹
一位开发了NVIDIA现用于TensorRT-LLM的内核的CMU博士讲解了快速注意力，内容涵盖融合CUDA内核、FlashInfer、Triton和分页KV注意力，使同一GPU每秒能处理更多token。
@levidiamode: GPU编程的第163/365天 - 今天看几个不同的agentic GPU内核优化系统。我最感兴趣的两个是…
一条推文讨论了两种agentic GPU内核优化系统：@dogacel0的Auto GPU Kernel和@songhan_mit实验室的Kernel Design Agents，两者均在MLSys Sparse Attention FlashInfer比赛中获胜。该帖子突出了使用子代理和Claude技能进行GPU编程的不同方法。
@hamzaelshafie: 新深度博客文章：《剖析ThunderKittens：高性能AI内核的紧凑型DSL解剖》这篇帖子……
一篇详细分析ThunderKittens的博客文章，ThunderKittens是用于高性能AI内核的紧凑型DSL。文章包括从底向上的抽象分析，以及一个实现非因果注意力预填充内核的基准测试，该内核比FlashAttention-2快约1.55倍，与FlashAttention-3性能相当。
@levidiamode: GPU编程第157/365天：另一个对我非常有帮助的FlashAttention4资源是@charles_irl的演讲…
一个每日GPU编程帖子重点介绍了Charles_irl的演讲，该演讲在论文发布前逆向工程了FlashAttention4代码，并赞扬了Modal团队对代码的深入剖析和对前向传播的合理推断。