@h100envy: 构建了NVIDIA TensorRT-LLM内核的CMU博士用68分钟讲解快速注意力——比1200美元的GPU课程更胜一筹

X AI KOLs Timeline 工具
fast-attention flashinfer triton jit-compiled-kernels paged-kv-attention gpu-programming tensorrt-llm

摘要

一位开发了NVIDIA现用于TensorRT-LLM的内核的CMU博士讲解了快速注意力，内容涵盖融合CUDA内核、FlashInfer、Triton和分页KV注意力，使同一GPU每秒能处理更多token。

构建了NVIDIA现在在TensorRT-LLM中搭载的内核的CMU博士在68分钟内讲解了快速注意力——比1200美元的GPU编程课程更好。 选择注意力模式 -> 生成融合CUDA内核 -> 放入vLLM/SGLang -> 同一GPU，每秒处理更多token。 正是这个循环使得FlashInfer如今为NVIDIA、vLLM、SGLang以及你使用的一半服务栈提供推理能力。 FlashInfer + Triton + JIT编译内核 + 分页KV注意力 —— 这就是那个技术栈。
查看原文
查看缓存全文

缓存时间: 2026/07/02 16:25

CMU博士在68分钟内讲解了快速注意力——他构建了NVIDIA在TensorRT-LLM中使用的内核，胜过价值1200美元的GPU编程课程。

选择注意力模式 -> 生成融合CUDA内核 -> 放入vLLM/SGLang -> 同一GPU，每秒处理更多token。

正是这个循环，让FlashInfer如今驱动着NVIDIA、vLLM、SGLang以及你使用的半数推理服务栈。

FlashInfer + Triton + JIT编译内核 + 分页KV注意力——这就是整个技术栈。

Meta的PyTorch核心工程师在13分钟内将CUDA内核编写变成了一项运动——胜过价值1500美元的GPU编程训练营。

分析内核 -> 找到瓶颈 -> 重写 -> 基准测试 -> 将优胜代码合并到PyTorch。

正是这个循环，让开源社区如今战胜了手工调优的厂商内核。

GPU MODE社区 + KernelBot竞赛 + 优胜内核合并到框架中——这就是整个技术栈。

观看它，然后复制下面的循环。

相似文章