@charles_irl: ^这是CuTe DSL的一个示例，它用于FlashAttention-4内核等。以下是CuTe示例内核…

X AI KOLs Following 2026/05/26 15:22 工具

cuda dsl flash-attention gpu-kernel linear-algebra transposition

摘要

一条推文展示了一个CuTe DSL内核示例，该示例使用布局来表达转置，是FlashAttention-4内核的一部分。

^这是CuTe DSL的一个示例，它用于FlashAttention-4内核等。以下是CuTe内核示例，内含一个巧妙技巧：使用布局来表达转置。 https://modal.com/notebooks/modal-labs/examples/nb-owEUD0kdSVeL4KeEX5sjh1…

查看原文

相似文章

X AI KOLs Following

CuTe 和 CuTe DSL 文章提供了最小代码片段和 Modal Notebooks，以便动手学习。

X AI KOLs Following

GPU 术语表新增文章，涵盖 CuTe DSL、CUTLASS 和 CuTe——这些工具用于在数据中心 GPU 上编写高性能 GPU 内核，并附有 Python 示例。

Reddit r/MachineLearning

讨论GPU内核工程从C++ CuTe/CUTLASS向NVIDIA基于Python的CuTeDSL的转变，质疑新工程师是应该学习遗留的C++模板，还是优先考虑为LLM推理工作而兴起的新技术栈。

X AI KOLs Following

一篇详细分析ThunderKittens的博客文章，ThunderKittens是用于高性能AI内核的紧凑型DSL。文章包括从底向上的抽象分析，以及一个实现非因果注意力预填充内核的基准测试，该内核比FlashAttention-2快约1.55倍，与FlashAttention-3性能相当。

X AI KOLs Following

一位开发者使用自建ML框架，基于Rust后端和CUDA内核，包含Flash Attention和AdamW，从零训练了一个1200万参数的LLM。