kernels

在 PyTorch Con 2026 上，Mark Saroufim 探讨了支撑更优优化器的线性代数内核，涵盖 QR、对称特征分解与 Cholesky，并从 GPU MODE 的线性代数竞赛中总结了如何通过暴露并行性、重叠独立阶段和合并更新来减少数据搬运。

DeepSeek 发布了 DeepGEMM，这是一个用于训练和运行其自家模型的开源 GPU 数学引擎，声称通过让现有 GPU 每秒吐出更多 token，最多可节省 98% 的 token 成本。

Tianqi Chen（MLC AI）宣布了一本开源在线书籍，以及即将在 CMU ML Systems 课程中开设的 Agentic GPU Programming for MLSys 模块，内容涵盖编程智能体如何利用编译器驱动的工具链、知识库和基准测试来编写和优化 GPU kernel。

DeepSeek 开源了 DeepGEMM Ascend，将 DeepGEMM 移植到华为昇腾平台，API 完全兼容并支持 BF16/FP8/FP4 GEMM、MQA logits 和 MegaMoE 算子，在 GEMM 上达到硬件性能极限的 99.8%、MegaMoE 达 98%。

本文解释了GPU如何将计算工作组织为内核、网格、块和线程束，以实现大规模并行并通过流式多处理器隐藏内存延迟。

一个团队宣布他们在NVIDIA的SOL-ExecBench基准测试中所有赛道均获得第一名，使用B200 GPU的真实生产内核击败了583个团队。

本文鼓励大家支持 @ViC305，他是DGX社区的关键贡献者，从事AI相关工作，如量化和内核开发，尽管他没有DGX Spark。

一条推文解释了推理工程的核心组成部分：可加载编码、后端操作和原生硬件算术，并讨论了内核和GPU效率。

本文介绍了在AI推理和性能工程背景下的GPU内核，解释了它们的定义、使用方法以及自定义内核在优化中的优势。

Hugging Face 发布 207 个 WebGPU 内核，用于浏览器中的本地 AI 推理，并附带一个 JavaScript 加载器库和名为 Fleet 的基准测试工具。

介绍了v100-skinny，一个自定义内核库，支持在V100（sm70）GPU上进行快速NVFP4推理，在最佳情况下的抽取中为Qwen3.6 27B实现366 t/s，而结构化生成和代码生成的速度较低。

Y Combinator 举办了一场 Paper Club，研究人员展示了多 GPU 内核优化的创新，包括 ParallelKittens，这是一个简化重叠多 GPU 内核开发并在多种工作负载下实现显著加速的 CUDA 框架。

QuixiAI 将 ThunderKittens 和 ThunderMittens 更名为 QuixiCore-CUDA 和 QuixiCore-Metal，打造统一的跨平台内核家族，用于 AI 工作负载。

强烈推荐，由Ben Spector讲授的4.5小时GPU编程课程，深入介绍CUDA和ThunderKittens，提供内核优化的幕后视角。

QuixiAI 将 ThunderKittens 移植到了 Metal，从而在 MPS 和 MLX 上实现了内核支持，使得可以在 Mac 上训练模型。

TokenSpeed-Kernel是一个可移植、高性能的内核系统，用于LLM推理，实现零厂商特定模型代码，并支持多种GPU架构，在AMD MI355X上实现高达3.6倍的吞吐量提升。

一篇博客文章，描述了一个微型编译器，演示了如何通过将for循环转换为带有通道和掩码的向量化循环来降低数据并行内核，实现代码约180行Python。

下载并编译了来自SakanaAI开源数据集的16,459个CUDA内核，并对它们进行性能基准测试。

Ahmad Osman宣布了四篇即将发布的文章，涵盖LLM解码/预填充、LLM核以及硬件比较（CPU、GPU、Tenstorrent、Apple Silicon），这些文章是基于他现有的“Local LLMs From Zero to Hero”系列。

这条推文解释了运行AI模型实际上是运行优化的内核，推理引擎及其内核实现对于性能至关重要，而不仅仅是模型或硬件。