@levidiamode: 183/365 GPU编程 - 由@bfspector (TK合作作者, 斯坦福博士生)讲授的4.5小时CUDA + ThunderKittens课程…

X AI KOLs Timeline 工具
gpu-programming cuda thunderkittens educational kernels tutorial low-latency

摘要

强烈推荐，由Ben Spector讲授的4.5小时GPU编程课程，深入介绍CUDA和ThunderKittens，提供内核优化的幕后视角。

183/365 GPU编程 这个由@bfspector（TK合作作者，斯坦福博士生）讲授的4.5小时CUDA + ThunderKittens课程是我见过的最好的关于内核的教育视频之一（就像@karpathy级别的视频，但完全聚焦于GPU）。它的观看次数如此之少，只有5000次，简直难以置信。 这是我在大约6个月的学习中遇到过的密度最高的GPU编程讲座。无论是好是坏，Ben的思维和说话速度都如光速一般。但多亏了@qamcintyre，这更像是一场对话——Ben根据他创建TK的经验介绍概念和想法，Quinn则不时提出尖锐的问题，将讨论拉回到根本。 无论你是刚开始编写内核还是有一些经验，这都是一个极好的资源，因为它让你得以一窥某人多年思考如何最大化利用硬件（请阅读他在Hazy上的博文《We Bought the Whole GPU, So We're Damn Well Going to Use the Whole GPU》以了解背景）。尽管我对此课程涉及的一些主题（如GPU架构和内存一致性）已经有所了解，但我仍然记下了好几页笔记和问题，涉及TMA加速流水线、协同调度指令、Pre vs Post Hopper、虚拟化层级、缓存行、屏障、TK原语等等。正如@suryaasub在YouTube评论中恰如其分地总结的那样：“史上最棒的视频”。
查看原文
查看缓存全文

缓存时间: 2026/07/06 06:06

183/365 的 GPU 编程

@pbspector（TK 共同作者，斯坦福博士生）这节 4.5 小时的 CUDA + ThunderKittens 课程，是我见过的最好的内核教学视频之一（相当于 @karpathy 级别的视频，但只聚焦 GPU 内容）。这视频被严重低估了，我都不敢相信它只有 5000 播放量。

在我学习 GPU 的大约 6 个月里，这是我看过密度最高的 GPU 编程讲座。不论好坏，Ben 说话（以及思考）的速度都像光一样快。但多亏 @qamcintyre，这更像是一场对话——Ben 根据自己创造 TK 的经验引入概念和想法，Quinn 则不时插入尖锐的问题，帮助把讨论拉回基础层面。

无论你是刚开始编写内核，还是已经有些经验，这都是一份了不起的资源，因为它让你得以一窥幕后：一个花了很多年思考如何最大化利用硬件性能的人（可以先读他的 Hazy 博客文章《我们买下了整块 GPU，所以当然要好好用整块 GPU》来找找背景）。即使我原本对这节课的内容（比如 GPU 架构和内存一致性）有所了解，我还是记了满页的笔记和问题，涉及 TMA 加速流水线、指令协同调度、Hopper 前后对比、虚拟化层次、缓存行、屏障、TK 原语等等。正如 @suryaasub 在 YouTube 评论区一针见血所说的那样：“有史以来最棒的视频”。

levi (@levidiamode): 182/365 的 GPU 编程

今天准备第一次提交到 eigendecomp 排行榜，不得不说，这个 GPU 模式挑战已经感觉不一样了。虽然比赛还有超过一周才结束，但竞争者已经快速突破 20 毫秒，现在甚至到了 10 毫秒以下——

相似文章