@h100envy: Dan Fu 与 Tri Dao 合著了 FlashAttention,随后又共同构建了 Hyena、Monarch Mixer 和 ThunderKittens。现在他是 dis…
摘要
介绍 Dan Fu,他是 FlashAttention、Hyena、Monarch Mixer 和 ThunderKittens 等高性能内核的关键贡献者,现为 Together AI 的杰出研究员,其工作成果被用于 ChatGPT、Claude 和 Gemini。
查看缓存全文
缓存时间: 2026/06/28 18:13
Dan Fu 与 Tri Dao 合著了 FlashAttention,随后共同构建了 Hyena、Monarch Mixer 和 ThunderKittens。如今他是 Together AI 的杰出研究员。
运行 ChatGPT、Claude 和 Gemini 的推理栈中,有四款核心内核皆出自他手。一个人,贯穿你的关键路径。
他痴迷于:在相同 GPU 上压榨出更多每秒 token 数。ThunderKittens 是用 100 行 CUDA 写成的领域特定语言,性能超越手写内核。
所有人都在租用更多 GPU,而他让已有的每一块 GPU 发挥更大价值。
相似文章
@ekzhang1:我看着像这个家伙一样写真正的GPU内核的人 :)
AI模型Claude被用于使用pyptx DSL编写FlashAttention前向内核,在NVIDIA B200硬件上实现了与手工调优的FlashAttention-4近乎相同的性能。
@hamzaelshafie: 新深度博客文章:《剖析ThunderKittens:高性能AI内核的紧凑型DSL解剖》这篇帖子……
一篇详细分析ThunderKittens的博客文章,ThunderKittens是用于高性能AI内核的紧凑型DSL。文章包括从底向上的抽象分析,以及一个实现非因果注意力预填充内核的基准测试,该内核比FlashAttention-2快约1.55倍,与FlashAttention-3性能相当。
@h100envy: 构建了NVIDIA TensorRT-LLM内核的CMU博士用68分钟讲解快速注意力——比1200美元的GPU课程更胜一筹
一位开发了NVIDIA现用于TensorRT-LLM的内核的CMU博士讲解了快速注意力,内容涵盖融合CUDA内核、FlashInfer、Triton和分页KV注意力,使同一GPU每秒能处理更多token。
@ariG23498: 当我第一次从@cHHillee的博客文章“Making Deep Learning Go Brrrr From …”中听说内核融合时,我着迷了。
作者分享了对内核融合的兴奋之情,并演示了使用HuggingFace的kernels项目对GeGLU FFN融合的Liger内核进行性能分析,指出这个分析结果非常漂亮。
@h100envy: Ying Sheng 共同撰写了 SGLang,该推理引擎现在在 xAI 上为 Grok 服务,运行在十万个 GPU 上。她还构建了 Fle…
Ying Sheng 共同撰写了 SGLang,该推理引擎现在在 xAI 上用十万个 GPU 为 Grok 服务,相比 DeepSeek 的 API 实现了 5 倍的成本削减;她还构建了 FlexGen,并参与构建了 Chatbot Arena。