标签
本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限，以NVIDIA的H100为例，并讨论了批处理和提示长度如何影响性能。
探讨双RTX 5060 Ti GPU在运行Qwen 27B等大型LLM时利用率仅达50%左右的原因：内存带宽是瓶颈，逐层拆分导致空闲时间，这更像是接力赛而非并行计算。
解释LLM推理的两个阶段——预填充和解码，详细说明GPU瓶颈如何从预填充时的计算受限转变为解码时的内存受限，以及KV缓存的重要性。
CODA将LLM训练中的内存受限操作重新参数化，将其融合到矩阵乘法的epilogue中，从而利用LLM生成的内核实现了接近最先进的性能。
一场关于AI推理的斯坦福讲座强调了KV-cache等实际瓶颈以及推测性解码和连续批处理等技术，比典型ML课程提供更多现实世界的洞察。