@akshay_pachaar: 如何判断你的GPU是计算受限还是内存受限？这里有一个简单的解释：你的模型权重位于……

如何判断你的GPU是计算受限还是内存受限？

简单来说：

你的模型权重存储在HBM（高带宽内存）中，即GPU板载的大容量存储区域。那里不会进行任何运算。

在任何乘法运算执行之前，这些权重必须从HBM传输到计算单元，而这个传输过程是芯片最耗时的环节。

因此核心问题是：每个权重完成传输后，我们能从中获得多少计算量？

这引出了一个关键比率：统计某项操作的计算次数，再统计它从HBM读取了多少字节的数据来执行这些计算。

用前者除以后者，就能得到每字节操作数——这正是下图中横轴代表的数值。

每款芯片都存在一个平衡点，其数值等于峰值算力除以峰值内存带宽。

以H100为例：它在16位精度下每秒可执行989万亿次运算，同时能从内存中每秒读取3.35万亿字节数据。

两者相除得到295操作/字节，对应下图中标注的300刻度值。

这个数字表明芯片每获取1字节数据，大约能执行300次运算。任何计算量低于此值的操作，都会导致计算单元空闲等待数据传输。

对于单个请求生成一个token的操作，其状态位于红线最左端：每个权重都从HBM获取，仅执行一次乘法和一次加法（共2次运算）后即被丢弃。

在16位精度下每个权重占两字节，即每字节仅完成1次运算，约为平衡点的三百分之一。

这就是为什么红色线段呈下降趋势：在此区间内，运算速度完全受限于数据传输速度，因此更强的计算能力无法带来任何收益。

批处理是向右移动的方法：同时处理32个请求，每个权重只需获取一次，就能对32组不同值执行乘加运算后再丢弃。

此时HBM的数据传输量保持不变，但计算产出却提升了32倍。

长提示词（Prompt）的原理相同，区别在于多组数据来自单个序列的token而非独立请求。

越过平衡点后，曲线进入水平延展的绿色区域。处理长提示词和模型训练都落在此区间，因为每个获取的字节都能支撑足够多的运算，使得计算单元成为性能瓶颈，而内存路径尚有余量。

因此这两个区域需要相反的优化策略：红线左侧需减少数据搬运量或提升每次传输的利用率；绿线右侧则需要更快的计算单元或更优的算法。

这个临界点由硬件决定，而你的工作负载相对于它的位置则取决于你自身。

我已经撰写了关于现代GPU工作原理的详细解析，原文引用如下。

敬请期待更多相关内容！