标签
一条科普线程，解释LLM推理的主要瓶颈是数据移动而非计算，并强调了量化、KV缓存优化和FlashAttention等减少内存流量技术的要点。
Unsloth AI 发布了量化版 Qwen3.6 模型，在消费级 GPU 上运行速度快了 2.5 倍。其中 27B 模型可适配 24GB 显存，35B-A3B 模型实现了高吞吐量。
本文探讨了FlashAttention-3/4优化是否对RTX GPU有益，得出结论：由于消费级显卡的硬件限制，FA-2已是天花板。
一条推文推荐在LLM推理中学习FlashAttention，强调其在优化GPU内存流量和加速注意力机制方面的重要性，并附有FlashAttention、FlashAttention-2和FlashAttention-3的GitHub仓库和论文链接。
Jetha Chan对SM100数据中心GPU的Attention核进行了反汇编，发现并修复了低效之处，从而显著提升了性能。
Moondream 的 Photon 推理引擎通过流水线解码消除了 GPU 气泡，实现了近乎实时的 VLM 推理，解码吞吐量提升高达 35%。
NVIDIA NeMo AutoModel 利用 HuggingFace Transformers v5，在微调 Mixture-of-Experts 模型时，无需修改代码（只需一个导入），即可实现 3.4 至 3.7 倍的训练吞吐量提升和 29% 至 32% 的 GPU 内存减少。
Robert Nishihara 强调了一篇关于解耦RL工作负载的论文，表明使用计算优化的H800进行预填充，带宽优化的H20进行解码，可以分别将rollout时间减少21-51%和47%，强调没有单一硬件类型适合所有阶段。
Daniel Han 构建了 Unsloth，该工具通过重写 GPU 内核，使单张 GPU 的微调速度提升 2 到 3 倍，让众多开源用户无需集群即可训练模型。
MiniMax 稀疏注意力 引入了一种分块稀疏注意力机制，针对超长上下文的大语言模型实现了显著的加速。在1M上下文长度下，每个token的注意力计算减少28.4倍，在H800 GPU上预填充阶段实际速度提升14.2倍，解码阶段提升7.6倍。该方法附带了一个开源推理内核以及一个公开发布的多模态模型。
本篇博文继续 PyTorch 性能分析系列内容，探讨 nn.Linear、MLP 块以及使用 Triton 内核的融合技术，以优化性能。
Tony Wu发布了late-interaction-kernels (LIK)：用于MaxSim的融合Triton内核，MaxSim是ColBERT和ColPali背后的评分步骤，已集成到PyLate和colpali-engine中，提供了内存效率和性能提升。
Luce Spark 是一款开源工具，通过智能地将热门专家缓存到 GPU 上，同时将其他专家保留在系统 RAM 中，从而在 16GB GPU 上运行 35B MoE 模型。它采用校准放置和有限异步缓存，保持高吞吐量，避免了常见的卸载速度断崖。
Kog AI 发布了 Kog Inference Engine 的技术预览版，通过协同设计模型架构、运行时和底层 GPU 代码，在标准数据中心 GPU 上实现了每请求 3,000 tokens/s 的性能，面向延迟敏感的 AI 代理工作流。
一种针对AMD MI300X GPU上LLM解码的单内核方法，每个请求可达3300输出tokens/秒，无需推测解码或量化，利用映射到芯片拓扑结构的内存访问模式。
这篇来自NVIDIA的文章介绍了如何使用NVIDIA Model Optimizer库，通过训练后量化方法将CLIP模型量化为FP8格式，从而减少VRAM使用并提升在消费级GPU上的推理性能。
一种自我改进的人工智能框架，通过语言模型反馈代理同时更新模型权重和任务特定的智能体架构，在法律分类、GPU优化和生物去噪任务上取得了显著提升。
此拉取请求为 llama.cpp（一个流行的开源 LLM 推理引擎）添加了 CUDA 上的快速 Walsh-Hadamard 变换实现。该优化提升了在 NVIDIA GPU 上某些计算操作的性能。
atomic.chat的MTP技术通过草拟多个令牌并一起验证它们来加速本地LLM推理，在Qwen 27B密集模型上实现了高达137%的加速，且准确率零损失。