标签
一条推文解释了 Flash attention 背后的优化原则，重点是最小化数据移动和最大化片上内存复用，背景是语言建模课程讲座。
一条推文询问为什么FlashAttention在AI计算中既快速又具有GPU内存高效性。
此拉取请求为 llama.cpp 项目中的 CUDA/HIP 引入了 Flash Attention 调优优化，针对 gfx1201 硬件以提升推理性能。
LLM推理工程关键概念的教育概述，涵盖KV cache、PagedAttention、Flash Attention和连续批处理等技术，以优化推理性能。
讨论了为什么推测解码在2026年对LLM推理而言走向成熟，引用了Uber的早期使用、Apple和DeepMind的论文以及Tri Dao的研究，并观察了其在框架和本地部署中的采用情况。
Astral正在开源其为支持GPU的Python包（如FlashAttention和DeepSpeed）预构建wheel的构建管道，并通过标准Python索引向所有人提供这些wheel。
修改SGLang以在V100 GPU上支持Qwen和Laguna模型，使用自定义的FlashAttention和Marlin内核，在4xV100硬件上获得了不错的吞吐量。
Google 更新了 Gemma 4 的聊天模板，显著修复了工具调用，减少了惰性，在 Hopper GPU 上启用了 Flash Attention 4，并发布了交互式视觉指南。这些更新现已可在 Hugging Face 上获取。
一条科普线程，解释LLM推理的主要瓶颈是数据移动而非计算，并强调了量化、KV缓存优化和FlashAttention等减少内存流量技术的要点。
介绍Flash-MSA，首个针对MiniMax稀疏注意力在Hopper和Blackwell GPU上的高性能开源训练内核，实现高效的百万token训练。
一条推文推荐在LLM推理中学习FlashAttention，强调其在优化GPU内存流量和加速注意力机制方面的重要性，并附有FlashAttention、FlashAttention-2和FlashAttention-3的GitHub仓库和论文链接。
AI模型Claude被用于使用pyptx DSL编写FlashAttention前向内核，在NVIDIA B200硬件上实现了与手工调优的FlashAttention-4近乎相同的性能。
Claude Fable 使用 pyptx DSL 为 NVIDIA B200 编写了一个 FlashAttention 前向内核，其性能与手动调优的 CUTLASS 内核接近，展示了 AI 代理在编译器和 DSL 设计中的潜力。
Hybrid Sliding Window Attention (Hybrid SWA) 是一种在长文本语言模型中平衡计算效率与全局长距离依赖的混合注意力机制，通过交替使用局部SWA层和全局注意力层，显著压缩KV Cache同时保持推理能力。文章详细介绍了其设计原理、在Gemma、Qwen等模型中的应用，以及vLLM和HuggingFace等开源项目中的最佳实践。
提出了一种基于机制驱动的监测器，用于预判检测LLM训练不稳定性，通过从低精度闪光注意力（flash attention）和MoE路由器中提取内部信号，使得能在损失发散前数千步进行检测。
CMU机器学习系统课程的一本新书教授面向ML系统的现代GPU编程，涵盖Blackwell架构、GEMM和FlashAttention，使用TIRx Python DSL。
NVIDIA Research发布了一篇技术博客，探讨KV缓存压缩技术及其基础设施问题，包括FlashAttention和paged attention如何为长上下文LLM的生产部署带来实际障碍，并提出了一个使用RoPE的几何解决方案。
关于使用CuTe DSL和瓦片编程模型重写并行性以提升FA4 (FlashAttention 4) 内核性能的讨论。
解释推理内核与训练不同，Flash Attention 4 侧重于改变跨KV的并行性并支持小型不规则负载。
Parallax 是一种新的参数化局部线性注意力形式，去除了数值求解器，在解码方面与 FlashAttention 2/3 相匹配。其有效性取决于优化器，与 Muon 配合有效，但与 AdamW 配合无效，这凸显了优化器几何形状的作用。