标签
一篇技术博客深入解释了投机解码为什么快：并非因为总FLOPs减少（实际上反而增加），而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈（memory-bound）转为计算瓶颈（compute-bound），用单序列的'深度'换取了批量解码的'广度'。
本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限，以NVIDIA的H100为例，并讨论了批处理和提示长度如何影响性能。
DiffusionGemma 已发布；它受计算限制，比其它 Gemma-4 模型快 4 倍（H100 上 1k tok/s），擅长编码任务，包括 3D 生成和前端开发。
一篇综合性的博客文章，解释如何通过理解三个关键组成部分来优化深度学习性能：计算、内存带宽和开销，利用第一性原理识别性能区间并专注于有效的优化。