@akshay_pachaar: GPU内部的工作组织方式。GPU不会将大规模计算视为一个任务。它不断将该任务分解为……

X AI KOLs Timeline 新闻

摘要

本文解释了GPU如何将计算工作组织为内核、网格、块和线程束,以实现大规模并行并通过流式多处理器隐藏内存延迟。

GPU内部的工作组织方式。 GPU不会将大规模计算视为一个任务。它不断将该任务分解为更小的部分,直到成千上万的简单操作可以一起运行。 理解这一点的最简单方法是从您启动的程序跟随工作直到芯片执行的算术。 1) 内核创建完整的工作负载。 内核是一个旨在跨不同数据块重复运行的函数。当您启动一个内核时,它会创建一个网格。网格代表该启动所需的所有工作。 2) 网格被划分为线程块。 每个块拥有工作负载的一部分。其线程保持在同一个流式多处理器(SM)上,以便它们可以通过快速共享内存协调和交换值。 GPU独立调度块。这允许来自大网格的块分散到多个SM上,而无需相互协调。 3) 每个块被划分为线程束。 线程是在其自己的数据上执行内核指令的一个通道。硬件将线程收集到固定的32个一组中,称为线程束。 因此,包含256个线程的块成为八个线程束。这些线程束是SM在执行期间实际选择的单位。 线程束中的所有32个线程接收相同的指令。它们一起执行,但操作不同的值。这就是GPU获得其宽度的地方。 这也解释了为什么分支会损害性能。如果一个线程束中的线程选择不同的路径,GPU必须分别运行每条路径,同时暂时禁用采取另一条路径的线程。 4) 线程束在SM内执行。 一个SM包含计算单元、线程束调度器、寄存器和共享内存。它可以同时保留多个线程束,即使在给定的时钟周期内只有一些执行。 当一个线程束从较慢的内存请求数据并必须等待时,调度器会选择另一个准备好的线程束。切换成本极低,因为每个保留的线程束的状态已存储在SM上。 GPU不会消除内存延迟。它通过始终有另一个准备运行的线程束来隐藏它们。 这种层次结构也解释了为什么工作负载大小很重要。块太少会导致SM未使用。保留的线程束太少会导致调度器在内存停顿时无事可做。 完整的路径很简单。 内核创建网格 → 网格包含块 → 块包含线程束 → 线程束包含32个线程 → 块被分配给SM → 它们的线程束被调度到计算单元上。 这种结构是GPU并行性、延迟隐藏以及需要大量类似工作批次的基础。 我撰写了关于GPU如何工作、为何如此组织以及这种设计对LLM性能意味着什么的完整解析。 文章引用如下。
查看原文
查看缓存全文

缓存时间: 2026/09/28 13:36

GPU 内部的工作组织方式

GPU 不会将大规模计算视为单个任务。它会持续将任务分解为更小的部分,直到数千个简单操作能够并行执行。

理解这一点的最佳途径是追踪从程序启动到芯片执行算术的全过程。

1)内核函数创建完整的工作负载。 内核是一种设计为在不同数据块上重复运行的函数。当你启动它时,会创建一个网格。网格代表该次启动所需完成的所有工作。

2)网格被划分为线程块。 每个线程块拥有工作负载的一部分。其线程会驻留在同一个流式多处理器(SM)上,以便通过快速共享内存进行协调和数据交换。 GPU 以独立方式调度线程块。这使得大型网格中的线程块可以分布在多个 SM 上,而无需相互协调。

3)每个线程块被划分为线程束。 线程是执行内核指令的最小处理单元。硬件将线程组合成固定大小为32的组,称为线程束。 例如,包含256个线程的线程块会形成8个线程束。这些线程束才是 SM 在实际执行过程中进行调度的基本单位。 同一个线程束中的所有32个线程执行相同指令。它们并行处理不同数据,这正是 GPU 实现并行宽度的关键所在。 这也解释了为什么分支操作可能影响性能:如果同一个线程束中的线程选择了不同路径,GPU 必须分别执行各个分支,同时暂时禁用执行其他路径的线程。

4)线程束在 SM 内部执行。 SM 包含计算单元、线程束调度器、寄存器和共享内存。它可以同时驻留多个线程束,即使在某个时钟周期内只有部分线程束处于活动状态。 当某个线程束因访问较慢内存而需要等待时,调度器会选择另一个就绪的线程束。这种切换开销极低,因为每个驻留的线程束状态都已保存在 SM 中。 GPU 并不能消除内存延迟,而是通过始终保证有就绪线程束待执行来隐藏延迟。

这种层级结构也解释了工作负载规模的重要性:线程块太少会导致 SM 资源闲置;驻留线程束太少则会使调度器在内存停顿期间无可用资源可执行。

完整的执行路径非常清晰: 内核创建网格 → 网格包含线程块 → 线程块包含线程束 → 线程束包含32个线程 → 线程块被分配到 SM → 其线程束被调度到计算单元执行。

这种架构正是 GPU 并行计算、延迟隐藏机制以及需要大批量相似工作负载的基础。

我撰写了关于 GPU 工作原理、架构设计原因及其对大语言模型性能影响的完整解析文章。

文章内容如下:

相似文章