@akshay_pachaar: 如何判断你的GPU是计算受限还是内存受限？这里有一个简单的解释：你的模型权重位于……

X AI KOLs Following 新闻
gpu-performance compute-bound memory-bound hbm h100 arithmetic-operations ai-hardware

摘要

本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限，以NVIDIA的H100为例，并讨论了批处理和提示长度如何影响性能。

如何判断你的GPU是计算受限还是内存受限？ 这里有一个简单的解释： 你的模型权重位于HBM（高带宽内存）中，这是GPU板上的大容量内存池。那里不进行任何算术运算。 在任何乘法运算运行之前，这些权重必须从HBM传输到算术单元，而这个传输过程是芯片执行的最慢操作。 因此，真正的问题是每个权重在传输完成后能提供多少工作量。 这给出了一个比率。计算某个操作执行多少次算术运算，然后计算它从HBM中拉出多少字节来执行这些运算。 将前者除以后者，就得到每字节工作量，这在可视化中是横轴。 每个芯片都有该比率的盈亏平衡点，它恰好是峰值算力除以峰值内存带宽。 以H100为例。它在16位精度下每秒执行989万亿次操作，并且可以从内存中每秒拉取3.35万亿字节。 将两者相除，得到每字节295次操作，这在下方图表中标记为300。 这个数字表示芯片对于每拉取的字节可以承担大约300次操作。任何低于此的值都会使算术单元空闲，等待下一次数据传输。 为单个请求生成一个令牌位于红线的最左端。每个权重从HBM中获取，进行一次乘法和一次加法（2次操作），然后被丢弃。 每个权重在16位精度下占用两个字节，因此这是每字节一次操作，大约低于盈亏平衡点300倍。 这就是为什么红线部分是倾斜的。沿着它，你的速度完全由字节到达的速度决定，因此具有更多算力的芯片对你没有帮助。 批处理是你向右移动的方式。同时运行32个请求，每个权重只获取一次，在丢弃之前对32个不同的值执行乘法和加法。 HBM的流量没有变化，但从中获得的工作量增加了32倍。 长提示做同样的事情，不同之处在于许多值来自一个序列的令牌，而不是单独的请求。 超过盈亏平衡点后，线变平，这是绿色区域。处理长提示和训练都落入此区域，因为每个拉取的字节现在提供了足够的操作，使得算术单元成为慢阶段，而内存路径有剩余容量。 因此，左右两半需要相反的改进。线左侧，你需要减少移动的字节或更努力地重用每次获取；线右侧，你需要更快的算力或更好的算法。 阈值属于硬件。你的工作负载相对于它的位置属于你。 我写了现代GPU工作原理的完整解析，文章引用如下。 敬请期待更多内容！
查看原文
查看缓存全文

缓存时间: 2026/08/16 14:10

如何判断你的GPU是计算受限还是内存受限？

简单来说：

你的模型权重存储在HBM（高带宽内存）中，即GPU板载的大容量存储区域。那里不会进行任何运算。

在任何乘法运算执行之前，这些权重必须从HBM传输到计算单元，而这个传输过程是芯片最耗时的环节。

因此核心问题是：每个权重完成传输后，我们能从中获得多少计算量？

这引出了一个关键比率：统计某项操作的计算次数，再统计它从HBM读取了多少字节的数据来执行这些计算。

用前者除以后者，就能得到每字节操作数——这正是下图中横轴代表的数值。

每款芯片都存在一个平衡点，其数值等于峰值算力除以峰值内存带宽。

以H100为例：它在16位精度下每秒可执行989万亿次运算，同时能从内存中每秒读取3.35万亿字节数据。

两者相除得到295操作/字节，对应下图中标注的300刻度值。

这个数字表明芯片每获取1字节数据，大约能执行300次运算。任何计算量低于此值的操作，都会导致计算单元空闲等待数据传输。

对于单个请求生成一个token的操作，其状态位于红线最左端：每个权重都从HBM获取，仅执行一次乘法和一次加法（共2次运算）后即被丢弃。

在16位精度下每个权重占两字节，即每字节仅完成1次运算，约为平衡点的三百分之一。

这就是为什么红色线段呈下降趋势：在此区间内，运算速度完全受限于数据传输速度，因此更强的计算能力无法带来任何收益。

批处理是向右移动的方法：同时处理32个请求，每个权重只需获取一次，就能对32组不同值执行乘加运算后再丢弃。

此时HBM的数据传输量保持不变，但计算产出却提升了32倍。

长提示词（Prompt）的原理相同，区别在于多组数据来自单个序列的token而非独立请求。

越过平衡点后，曲线进入水平延展的绿色区域。处理长提示词和模型训练都落在此区间，因为每个获取的字节都能支撑足够多的运算，使得计算单元成为性能瓶颈，而内存路径尚有余量。

因此这两个区域需要相反的优化策略：红线左侧需减少数据搬运量或提升每次传输的利用率；绿线右侧则需要更快的计算单元或更优的算法。

这个临界点由硬件决定，而你的工作负载相对于它的位置则取决于你自身。

我已经撰写了关于现代GPU工作原理的详细解析，原文引用如下。

敬请期待更多相关内容！

相似文章