标签
一条科普线程，解释LLM推理的主要瓶颈是数据移动而非计算，并强调了量化、KV缓存优化和FlashAttention等减少内存流量技术的要点。
阐释了迷你PC中的统一内存如何使其能够运行超过高端GPU显存容量的大型70B参数AI模型，尽管因内存带宽较低而导致速度较慢。
一条推文推荐在LLM推理中学习FlashAttention，强调其在优化GPU内存流量和加速注意力机制方面的重要性，并附有FlashAttention、FlashAttention-2和FlashAttention-3的GitHub仓库和论文链接。
Part 1 of a 5-part short course on efficient LLM inference taught at Columbia University. Covers hardware bottlenecks, GPU memory bandwidth limits, and techniques like model compression and KV cache optimization to reduce inference cost.
关于是在本地运行AI模型还是通过API运行的详细分析，涵盖了RTX 5090、RTX PRO 6000和DGX Spark等硬件选项，重点讨论了内存与带宽的权衡、成本考虑以及隐私需求。
一份关于本地AI硬件在内存容量、带宽和软件栈方面的详细比较，涵盖GPU、Apple Silicon、AMD、Intel、Tenstorrent等，重点关注AI推理中哪些瓶颈最关键。
本文分析了混合批处理与独占批处理在LLM推理中的权衡，表明最优选择取决于GPU内存带宽。提出了一种基于阈值的混合调度器，可在两种方法间动态切换，在带宽受限的GPU上实现高达41.9%的吞吐量提升。
据报道，NVIDIA 即将推出的 RTX Spark GPU 将拥有高达 600GB/s 的内存带宽，是 DGX Spark 的两倍，使用 128GB LPDDR5X 内存。
一则泄露消息透露了英伟达即将推出的N1X和N1处理器的细节，包括支持16通道DDR5内存，带宽超过500 GB/s。
Kog AI 发布了 Kog Inference Engine 的技术预览版，通过协同设计模型架构、运行时和底层 GPU 代码，在标准数据中心 GPU 上实现了每请求 3,000 tokens/s 的性能，面向延迟敏感的 AI 代理工作流。
本文研究了物理AI系统中批量1的LLM解码的性能差距，发现更快的内存带宽并没有按比例减少延迟，因为启动开销的存在，并且量化效率在不同硬件间差异显著。
Chamath 解释了 AI 计算的两个关键阶段：prefill（计算密集型，利于 Nvidia 等并行 GPU）和 decode（内存带宽受限，依赖于扫描已生成的 token）。
解释了为什么由于KV缓存随上下文长度和并发用户数扩展，LLM推理越来越受内存带宽限制，以及像vLLM和PagedAttention这样的系统如何提高内存利用率。
一篇综合性的博客文章，解释如何通过理解三个关键组成部分来优化深度学习性能：计算、内存带宽和开销，利用第一性原理识别性能区间并专注于有效的优化。
介绍CODA，一种GPU内核抽象，将Transformer操作表达为GEMM加尾声程序以减少数据移动，覆盖Transformer块中几乎所有非注意力计算。
作者在Strix Halo、RTX 3090和RTX 5070上使用了多个后端，进行了55次推理基准测试。结果揭示，显存带宽主导解码速度，RTX 5070在小模型上击败RTX 3090，而推理模型因隐藏的推理内容看起来慢约5倍。
Thinky 将人机交互带宽视为一个日益严峻的瓶颈，其状况类似于机器学习加速器中的内存带宽问题，并提出了针对这一局限性的解决方案。
本文深入解析内存带宽作为本地 AI 硬件性能的关键指标，对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。
该讲座介绍了GPU架构作为SIMD（向量/数组）处理器的灵活演化，讨论了数据并行性、存储体分组、体冲突、串行瓶颈以及SIMD指令历史（如MMX），强调GPU如何利用数据并行性并应对串行瓶颈。