标签
作者发布了一个免费、代码优先的 GPU 内核工程系列课程（共 44 节）的介绍与路线图视频，从朴素 GEMM 讲到 FlashAttention，覆盖 Hopper 与 Blackwell 架构，并以 roofline 模型和数据移动为核心教学理念。
一个共44节课的免费「GPU Kernel Engineering」系列课程发布，从CPU并行计算与CUDA基础出发，逐步深入内存优化、GEMM、Tensor Cores、Flash Attention，直至H100/Blackwell等前沿硬件与AI编写的kernel。
PyTorch Helion 现已将 NVIDIA CompileIQ 的高级控制文件（Advanced Control Files）集成到其自动调优器中，实现了内核配置与底层 ptxas 编译器控制参数的联合搜索，从而从已自动调优至极限的 GPU 内核中挖掘最后一段性能空间。
doubleAI 发布 Maxwell，首个“代码执行模型”，可在程序运行时重写二进制以适配特定硬件与数据，并通过形式化证明保证优化等价，带来 38× 数据管线加速与 4.25× AI 推理内核加速。
斯坦福 CS336（2026 春）第 6 讲的笔记，讲解如何通过减少 GPU 内存往返来优化内核：对比 softmax 多次遍历与融合行内核的内存流量，介绍 Triton 的块级编程模型，并强调先用 CUDA event 测量基线、再做内核融合与分块优化。
介绍 SentryWard：一个开源的 GPU kernel 形式化验证工具，可证明同步安全、无数据竞争与资源生命周期正确性，并通过系统性移除冗余同步使 NVIDIA B200 上的 kernel 最快提速 1.4 倍。
David Bellamy 分享了一份简明的学习路线，旨在掌握强化学习和推理系统的核心概念，参考资料包括 Hugging Face 的《超大规模训练手册》、Baseten 的推理工程指南、Lambert 的 RLHF 著作，以及用于学习内核编程的《大规模并行处理器编程》（PMPP），并辅以博客文章。
DeepSeek 开源了其训练模型所用的 GPU kernel 库 DeepGEMM，将 FP8/FP4/BF16 GEMM、融合 MoE 通信重叠、MQA 打分等核心算子统一到单一 CUDA 代码库中，通过 DeepJIT 运行时编译，官方称性能可达 H800 上 1550 TFLOPS，并已推出昇腾（Ascend）版本。
NVIDIA 的 Guray Ozen 将在 PyTorch Conference North America 2026 上展示 CUTLASS for Python 的最新进展，包括 CuTe 扩展、任务调度器和编译器诊断等面向开发者与 AI 代理的高效 GPU 内核编写新功能。
一条推文称赞 Hugging Face Kernels（hf.co/kernels）是一款优秀的产品，展示了其社区 GPU 内核目录，可按平台（CUDA、ROCm、Metal、WebGPU、CPU）和硬件（H100、A100、MI300、Apple Silicon 等）进行筛选，其中包括 flash-attn2、nvfp4-gemm 和 ggml 量化内核等热门条目。
MetaKernelBench 引入了一个基准，用于衡量 GPU kernel 优化智能体在一个 DSL（CuTeDSL）中提炼的经验能否迁移到另一个 DSL（TIRx）解决同一问题。结果显示六款模型的提升幅度参差不齐，范围从 -19% 到 +29%。
该论文提出用短多项式（degree-3/4 BF16）替代 LLM 中原生的 sigmoid、tanh 和 SiLU 超越函数求值，在 NVIDIA GB200 上将完整训练步吞吐提升最高 8.0%，同时保持相近的训练损失和模型精度。
在 PyTorch Conference North America 2026 上，AMD 的 Liz Li 和 Jiahui Cao 将带来主题演讲《Extending TorchInductor with FlyDSL》，介绍一个面向高性能 GEMM 的 MLIR 原生 GPU kernel 后端。该后端与 TorchInductor 的编译及自动调优流水线集成，并在 AMD Instinct GPU 上与 Triton 进行性能对比测试。
为 NVIDIA Blackwell（B200）手写的 GEMM kernel，基于 CUTLASS 的 CuTeDSL 从底层原语（tcgen05、TMA、mbarriers、TMEM）构建，性能从 164 提升到 1401 TFLOP/s——约为 cuBLAS 的 97%。其中一项关键改动贡献了大部分性能提升，而 prefill 和 decode 两种工作负载所需的优化方向并不相同。
PyTorch/Meta 博客揭示了基于 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell B200 上构建的 Jagged Flash Attention，仅使用约 3.2K 行 Triton 代码——比 FlashAttention-4 少约 3 倍——同时在 Meta Generative Ads Model 所使用的 jagged attention 形状上，前向传播比 FA4 快约 13%，反向传播快约 50%。
一篇深度解析 LLM 推理真实工作原理的文章：prefill/decode 循环、KV 缓存、文件编码与量化标签（例如 NVFP4）如何决定 GPU 实际运行哪些内核。以 RTX 5090 上运行 Qwen 3.8 27B 为例演示——同一个模型、同一个标签，却走上了两条完全不同的内核路径，性能差异巨大。
本文提出了群体精选策略优化（Population-Curated Policy Optimization，PCPO），一种参数化的自进化方法，通过在自生成的算法上进行训练，帮助 LLM 算法设计智能体突破上下文内进化停滞，且具备较高的样本效率。PCPO 仅在 4 个芯片案例上训练，便在 16 个 EDA 案例上超越了 OpenEvolve 和 ShinkaEvolve，用 8B 模型即可匹敌 GPT-5.5，并在 GPU kernel 设计任务上实现了平均 8.27 倍的加速。
MLC AI 发布 TIRx Harness，这是一个开源编译器框架，为 AI 智能体提供一个结构化环境，用于探索、调试和优化 GPU 内核。由智能体构建的 Kimi Delta Attention 内核，在前向传播上相比 FlashKDA 实现了 2.94 倍的几何平均加速，在反向传播上相比 FLA 实现了 6.84 倍的加速。
AttnFuse引入了一种可组合的DSL，用于将自定义注意力模式（包括RoPE）编译为融合GPU内核，相比现有方法如PyTorch的flex_attention实现了加速。
本文评估了LLM推理中INT8量化的一致性测试套件，发现二的幂次量化缩放能够实现跨内核的位级确定性，而基于容差的检查仅限于预条件和有界性。