标签
TKintegers 推出基于平衡三进制权重表示 K5 的转换器与 GPU 推理实现，在 NVIDIA L4 上对 Qwen2.5-0.5B-Instruct 实现了相对于 TorchAO FP8 基线约 3.21× 的预填充吞吐量提升与 3.10× 的解码吞吐量提升。
Prime Intellect 让 DeepSeek 的 MegaMoE 内核变得可训练，通过在 MoE 层融合计算与通信，在 Blackwell 和 Hopper GPU 上实现了比 TorchTitan 最高快 55% 的 MoE 训练性能，并支持 BF16、MXFP8 和 FP8 精度。
该预印本提出 BIEvolve，通过契约引导的静态依赖分析与跨批次数值一致性动态验证，为 LLM 内核生成代理加入批不变性(BI)保障，将 BI 通过率从 67.6% 提升至 91.9%，同时保留 91.8% 的基线加速收益。
作者发布了一个免费、代码优先的 GPU 内核工程系列课程（共 44 节）的介绍与路线图视频，从朴素 GEMM 讲到 FlashAttention，覆盖 Hopper 与 Blackwell 架构，并以 roofline 模型和数据移动为核心教学理念。
一个共44节课的免费「GPU Kernel Engineering」系列课程发布，从CPU并行计算与CUDA基础出发，逐步深入内存优化、GEMM、Tensor Cores、Flash Attention，直至H100/Blackwell等前沿硬件与AI编写的kernel。
PyTorch Helion 现已将 NVIDIA CompileIQ 的高级控制文件（Advanced Control Files）集成到其自动调优器中，实现了内核配置与底层 ptxas 编译器控制参数的联合搜索，从而从已自动调优至极限的 GPU 内核中挖掘最后一段性能空间。
doubleAI 发布 Maxwell，首个“代码执行模型”，可在程序运行时重写二进制以适配特定硬件与数据，并通过形式化证明保证优化等价，带来 38× 数据管线加速与 4.25× AI 推理内核加速。
斯坦福 CS336（2026 春）第 6 讲的笔记，讲解如何通过减少 GPU 内存往返来优化内核：对比 softmax 多次遍历与融合行内核的内存流量，介绍 Triton 的块级编程模型，并强调先用 CUDA event 测量基线、再做内核融合与分块优化。
介绍 SentryWard：一个开源的 GPU kernel 形式化验证工具，可证明同步安全、无数据竞争与资源生命周期正确性，并通过系统性移除冗余同步使 NVIDIA B200 上的 kernel 最快提速 1.4 倍。
David Bellamy 分享了一份简明的学习路线，旨在掌握强化学习和推理系统的核心概念，参考资料包括 Hugging Face 的《超大规模训练手册》、Baseten 的推理工程指南、Lambert 的 RLHF 著作，以及用于学习内核编程的《大规模并行处理器编程》（PMPP），并辅以博客文章。
DeepSeek 开源了其训练模型所用的 GPU kernel 库 DeepGEMM，将 FP8/FP4/BF16 GEMM、融合 MoE 通信重叠、MQA 打分等核心算子统一到单一 CUDA 代码库中，通过 DeepJIT 运行时编译，官方称性能可达 H800 上 1550 TFLOPS，并已推出昇腾（Ascend）版本。
NVIDIA 的 Guray Ozen 将在 PyTorch Conference North America 2026 上展示 CUTLASS for Python 的最新进展，包括 CuTe 扩展、任务调度器和编译器诊断等面向开发者与 AI 代理的高效 GPU 内核编写新功能。
一条推文称赞 Hugging Face Kernels（hf.co/kernels）是一款优秀的产品，展示了其社区 GPU 内核目录，可按平台（CUDA、ROCm、Metal、WebGPU、CPU）和硬件（H100、A100、MI300、Apple Silicon 等）进行筛选，其中包括 flash-attn2、nvfp4-gemm 和 ggml 量化内核等热门条目。
miniTE 是一个开源框架，用于诊断并弥合原生 NVFP4（W4A4）强化学习中训练与推理引擎间的数值执行差异，使 log-probability 差距降至约 1e-8，并在 8×B300 GPU 上实现最高 1.39 倍于 BF16 的学习器吞吐量，同时在 Qwen3-30B-A3B 上保持接近 BF16 的长程 RL 稳定性。
MetaKernelBench 引入了一个基准，用于衡量 GPU kernel 优化智能体在一个 DSL（CuTeDSL）中提炼的经验能否迁移到另一个 DSL（TIRx）解决同一问题。结果显示六款模型的提升幅度参差不齐，范围从 -19% 到 +29%。
该论文提出用短多项式（degree-3/4 BF16）替代 LLM 中原生的 sigmoid、tanh 和 SiLU 超越函数求值，在 NVIDIA GB200 上将完整训练步吞吐提升最高 8.0%，同时保持相近的训练损失和模型精度。
在 PyTorch Conference North America 2026 上，AMD 的 Liz Li 和 Jiahui Cao 将带来主题演讲《Extending TorchInductor with FlyDSL》，介绍一个面向高性能 GEMM 的 MLIR 原生 GPU kernel 后端。该后端与 TorchInductor 的编译及自动调优流水线集成，并在 AMD Instinct GPU 上与 Triton 进行性能对比测试。
为 NVIDIA Blackwell（B200）手写的 GEMM kernel，基于 CUTLASS 的 CuTeDSL 从底层原语（tcgen05、TMA、mbarriers、TMEM）构建，性能从 164 提升到 1401 TFLOP/s——约为 cuBLAS 的 97%。其中一项关键改动贡献了大部分性能提升，而 prefill 和 decode 两种工作负载所需的优化方向并不相同。
PyTorch/Meta 博客揭示了基于 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell B200 上构建的 Jagged Flash Attention，仅使用约 3.2K 行 Triton 代码——比 FlashAttention-4 少约 3 倍——同时在 Meta Generative Ads Model 所使用的 jagged attention 形状上，前向传播比 FA4 快约 13%，反向传播快约 50%。
一篇深度解析 LLM 推理真实工作原理的文章：prefill/decode 循环、KV 缓存、文件编码与量化标签（例如 NVFP4）如何决定 GPU 实际运行哪些内核。以 RTX 5090 上运行 Qwen 3.8 27B 为例演示——同一个模型、同一个标签，却走上了两条完全不同的内核路径，性能差异巨大。