标签
一个共44节课的免费「GPU Kernel Engineering」系列课程发布，从CPU并行计算与CUDA基础出发，逐步深入内存优化、GEMM、Tensor Cores、Flash Attention，直至H100/Blackwell等前沿硬件与AI编写的kernel。
strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo（Radeon 8060S）带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化，提示词处理速度比 Vulkan 快 21–54%，在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍，且输出质量与原版 ROCm 基本一致。
PyTorch/Meta 博客揭示了基于 TLX（Triton Low-level Extensions）在 NVIDIA Blackwell B200 上构建的 Jagged Flash Attention，仅使用约 3.2K 行 Triton 代码——比 FlashAttention-4 少约 3 倍——同时在 Meta Generative Ads Model 所使用的 jagged attention 形状上，前向传播比 FA4 快约 13%，反向传播快约 50%。
一条推文解释了 Flash attention 背后的优化原则，重点是最小化数据移动和最大化片上内存复用，背景是语言建模课程讲座。
一条推文询问为什么FlashAttention在AI计算中既快速又具有GPU内存高效性。
此拉取请求为 llama.cpp 项目中的 CUDA/HIP 引入了 Flash Attention 调优优化，针对 gfx1201 硬件以提升推理性能。
LLM推理工程关键概念的教育概述，涵盖KV cache、PagedAttention、Flash Attention和连续批处理等技术，以优化推理性能。
讨论了为什么推测解码在2026年对LLM推理而言走向成熟，引用了Uber的早期使用、Apple和DeepMind的论文以及Tri Dao的研究，并观察了其在框架和本地部署中的采用情况。
Astral正在开源其为支持GPU的Python包（如FlashAttention和DeepSpeed）预构建wheel的构建管道，并通过标准Python索引向所有人提供这些wheel。
修改SGLang以在V100 GPU上支持Qwen和Laguna模型，使用自定义的FlashAttention和Marlin内核，在4xV100硬件上获得了不错的吞吐量。
Google 更新了 Gemma 4 的聊天模板，显著修复了工具调用，减少了惰性，在 Hopper GPU 上启用了 Flash Attention 4，并发布了交互式视觉指南。这些更新现已可在 Hugging Face 上获取。
一条科普线程，解释LLM推理的主要瓶颈是数据移动而非计算，并强调了量化、KV缓存优化和FlashAttention等减少内存流量技术的要点。
介绍Flash-MSA，首个针对MiniMax稀疏注意力在Hopper和Blackwell GPU上的高性能开源训练内核，实现高效的百万token训练。
一条推文推荐在LLM推理中学习FlashAttention，强调其在优化GPU内存流量和加速注意力机制方面的重要性，并附有FlashAttention、FlashAttention-2和FlashAttention-3的GitHub仓库和论文链接。
AI模型Claude被用于使用pyptx DSL编写FlashAttention前向内核，在NVIDIA B200硬件上实现了与手工调优的FlashAttention-4近乎相同的性能。
Claude Fable 使用 pyptx DSL 为 NVIDIA B200 编写了一个 FlashAttention 前向内核，其性能与手动调优的 CUTLASS 内核接近，展示了 AI 代理在编译器和 DSL 设计中的潜力。
Hybrid Sliding Window Attention (Hybrid SWA) 是一种在长文本语言模型中平衡计算效率与全局长距离依赖的混合注意力机制，通过交替使用局部SWA层和全局注意力层，显著压缩KV Cache同时保持推理能力。文章详细介绍了其设计原理、在Gemma、Qwen等模型中的应用，以及vLLM和HuggingFace等开源项目中的最佳实践。
提出了一种基于机制驱动的监测器，用于预判检测LLM训练不稳定性，通过从低精度闪光注意力（flash attention）和MoE路由器中提取内部信号，使得能在损失发散前数千步进行检测。
CMU机器学习系统课程的一本新书教授面向ML系统的现代GPU编程，涵盖Blackwell架构、GEMM和FlashAttention，使用TIRx Python DSL。
NVIDIA Research发布了一篇技术博客，探讨KV缓存压缩技术及其基础设施问题，包括FlashAttention和paged attention如何为长上下文LLM的生产部署带来实际障碍，并提出了一个使用RoPE的几何解决方案。