告别抽象

# 让抽象退休 来源：https://hazyresearch.stanford.edu/blog/2026-08-05-retire-the-abstractions 一只猫在“快乐退休”横幅下玩沙狐球 **TL;DR：**我们认为 CUDA DSL 正在走向退休 去年，我们着手编写 [megakernels](https://hazyresearch.stanford.edu/blog/2025-05-27-no-bubbles)。但实现 megakernel 可能会非常痛苦。它需要复杂的数据结构、大量的线程间/SM/GPU 同步、深度嵌套的控制流等等。我们无法将其完全记在脑中，于是我们做了计算机科学七十年来一直在做的事情：构建了一层 [抽象](https://github.com/HazyResearch/Megakernels)。即使有了它，我们还是花了几个月与竞态条件和死锁搏斗，才让 Llama 模型飞速运行。 今年，我们构建了一个 [MoE megakernel](https://cursor.com/blog/mixture-of-kittens)，但我们删除了抽象层。借助智能体，我们可以直接处理复杂性，并从零开始构建针对目标优化的代码。不再需要中间层的 C++ 抽象。 那么这意味着什么呢？ ## 卸载卸载器 在过去一个季度里，我们注意到一个有趣的模式。那些我们原本*无需*抽象就能完成的任务（例如编写优化后的 GEMM 内核），现在只要给出合适的提示词，几乎已经自动化了。目前，我们仍然需要告诉智能体使用哪些 PTX 指令、warp 特化设计等，但它非常快地达到了最先进的水平。 而那些我们*需要*抽象的任务（例如编写 megakernel）却还没有自动化；不幸的是，我们如今肯定无法一次性生成一个 megakernel。但智能体让我们可以把抽象以不完整、杂乱的形式放进提示词中，而不是放在精心设计的 C++ 模板里。去年无法驾驭的复杂性突然变得可控了，因为我们现在有了一个“编译器”，可以接受模糊的指令并生成代码。构建 megakernel 所涉及的思想依然同样重要，但表达起来容易多了。 抽象作为认知卸载工具的职责正在开始退休。智能体正在接管这份工作。 ## 接下来是什么 通过归纳推理，CUDA DSL 是下一个退休名单上的候选，包括我们钟爱的 [ThunderKittens](https://github.com/HazyResearch/ThunderKittens) [1](https://hazyresearch.stanford.edu/blog/2026-08-05-retire-the-abstractions#fn-1)。大概明年，或者更早。我们不知道这会持续到什么程度。在我们之下某处有一层地板，在那里抽象纯粹是契约，而不是卸载器，它就停在那里。但我们现在还看不到。 这引出了一个挑衅性的问题： *如果一段提示词能生成整个技术栈的每一层，代码库还有什么价值？* 代码库的卖点在于精确性。它是唯一不含歧义的产物，是特定机器会以相同方式执行两次的东西。但精确性是有代价的，这个代价就是脆弱性。代码库与一种语言、一个框架、一个硬件目标以及一套只有编写它的团队才真正理解的约定绑定在一起。它看起来可移植，但几乎不可移植。 提示词则相反。它模糊，但它可以传播。把同样的意图交给不同的执行者，无论是人还是机器，只要这个执行者足够聪明，能正确填补空白，你就能得到正确的结果，而无需事先将空白标准化。 有趣的地方在这里。有了智能体，现在出现了一种竞争：一边是智能执行者阅读未充分指定的指令并做出正确行为，另一边是把每个空白都规定好，让一个笨拙的执行者无需判断。DSL 和框架*就是*那种规格说明，以代码库形式表达。如果执行者不再笨拙，DSL 就失去了立足之地。 代码库是一种不完美的媒介。我们喜欢它，但它庞大、繁复且充满 bug。不是因为编写它的工程师粗心，而是因为： - *对机器足够精确，* - *对人足够可读，以及* - *对未来足够灵活* 是一串 token 几乎不可能满足的一组约束。 而且我们以前就接受