@akshay_pachaar: GPU内部的工作组织方式。GPU不会将大规模计算视为一个任务。它不断将该任务分解为……
摘要
本文解释了GPU如何将计算工作组织为内核、网格、块和线程束,以实现大规模并行并通过流式多处理器隐藏内存延迟。
查看缓存全文
缓存时间: 2026/09/28 13:36
GPU 内部的工作组织方式
GPU 不会将大规模计算视为单个任务。它会持续将任务分解为更小的部分,直到数千个简单操作能够并行执行。
理解这一点的最佳途径是追踪从程序启动到芯片执行算术的全过程。
1)内核函数创建完整的工作负载。 内核是一种设计为在不同数据块上重复运行的函数。当你启动它时,会创建一个网格。网格代表该次启动所需完成的所有工作。
2)网格被划分为线程块。 每个线程块拥有工作负载的一部分。其线程会驻留在同一个流式多处理器(SM)上,以便通过快速共享内存进行协调和数据交换。 GPU 以独立方式调度线程块。这使得大型网格中的线程块可以分布在多个 SM 上,而无需相互协调。
3)每个线程块被划分为线程束。 线程是执行内核指令的最小处理单元。硬件将线程组合成固定大小为32的组,称为线程束。 例如,包含256个线程的线程块会形成8个线程束。这些线程束才是 SM 在实际执行过程中进行调度的基本单位。 同一个线程束中的所有32个线程执行相同指令。它们并行处理不同数据,这正是 GPU 实现并行宽度的关键所在。 这也解释了为什么分支操作可能影响性能:如果同一个线程束中的线程选择了不同路径,GPU 必须分别执行各个分支,同时暂时禁用执行其他路径的线程。
4)线程束在 SM 内部执行。 SM 包含计算单元、线程束调度器、寄存器和共享内存。它可以同时驻留多个线程束,即使在某个时钟周期内只有部分线程束处于活动状态。 当某个线程束因访问较慢内存而需要等待时,调度器会选择另一个就绪的线程束。这种切换开销极低,因为每个驻留的线程束状态都已保存在 SM 中。 GPU 并不能消除内存延迟,而是通过始终保证有就绪线程束待执行来隐藏延迟。
这种层级结构也解释了工作负载规模的重要性:线程块太少会导致 SM 资源闲置;驻留线程束太少则会使调度器在内存停顿期间无可用资源可执行。
完整的执行路径非常清晰: 内核创建网格 → 网格包含线程块 → 线程块包含线程束 → 线程束包含32个线程 → 线程块被分配到 SM → 其线程束被调度到计算单元执行。
这种架构正是 GPU 并行计算、延迟隐藏机制以及需要大批量相似工作负载的基础。
我撰写了关于 GPU 工作原理、架构设计原因及其对大语言模型性能影响的完整解析文章。
文章内容如下:
相似文章
@akshay_pachaar: https://x.com/akshay_pachaar/status/2087928032904523980
一条科普帖,讲解GPU的工作原理,重点在于主导LLM服务性能的内存-计算不对称性,并说明量化、投机解码和连续批处理等技术如何从这一根本约束出发。
@akshay_pachaar: 如何判断你的GPU是计算受限还是内存受限?这里有一个简单的解释:你的模型权重位于……
本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限,以NVIDIA的H100为例,并讨论了批处理和提示长度如何影响性能。
@akshay_pachaar:GPU架构详解。普遍的假设是,更快的GPU意味着更强的计算能力,所以一款每秒能执行更多操作的芯片应该每秒能生成更多token……
本文以NVIDIA H100为例,阐明了GPU在AI推理中的性能受限于内存带宽而非算力,并解释了GPU架构及其对token生成速率的影响。
@amitiitbhu: GPU如何为深度学习工作?在此阅读:https://outcomeschool.com/blog/how-does-a-gpu-work-for-deep-learning…
本文解释了GPU如何为深度学习工作,涵盖了它们为何适合并行矩阵计算、CPU与GPU的区别,以及VRAM和张量核心等关键概念。
@amitiitbhu: 最新发布:CUDA 内核如何工作?阅读此处:
本文解释了 CUDA 内核在 GPU 上如何工作,涵盖了 CUDA、GPU 架构、线程、块的基础知识,以及它们在人工智能和机器学习中的角色。