标签
本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限,以NVIDIA的H100为例,并讨论了批处理和提示长度如何影响性能。
DiffusionGemma 已发布;它受计算限制,比其它 Gemma-4 模型快 4 倍(H100 上 1k tok/s),擅长编码任务,包括 3D 生成和前端开发。
一篇综合性的博客文章,解释如何通过理解三个关键组成部分来优化深度学习性能:计算、内存带宽和开销,利用第一性原理识别性能区间并专注于有效的优化。