标签
Futhark 团队解释了为什么他们的编译器 GPU 流水线会把所有数组都强制迁入 GPU 内存，这使得顺序的 CPU 侧工作（例如针对稀疏雅可比矩阵的贪心距离-2 图着色）慢了三个数量级；他们还描述了一种变通方案，让部分函数留在 GPU 之外，同时程序的其余部分仍然能够利用 GPU 的并行能力。
SlideDP 提出了一种用于驻留主机内存的层流式（layer streaming）方案的异步数据并行运行时，可在多 GPU 上对超出显存容量的 LLM 进行微调；在四块 RTX 4090 上微调 Qwen2.5-72B 时，其吞吐量相比 SlideFormer、MegaTrain 和 ZeRO-Offload 提升了 1.46–2.64 倍，甚至超过了 FSDP2 的峰值吞吐量。
作者分享了在四张RTX 3090本地设备上六个月的测量数据，结果表明对于适配较少显卡的模型，数据并行通常优于张量并行，吞吐量差异可达3.4倍。
第19讲高效AI分布式训练总结，涵盖数据、流水线、张量和序列并行方法，并附有关内存和通信瓶颈的说明。
本文详细介绍了PyTorch分布式数据并行模块的设计与优化，重点阐述了梯度分桶（gradient bucketing）和计算-通信重叠等技术，这些技术使系统在使用256个GPU时实现了接近线性的可扩展性。
该讲座介绍了GPU架构作为SIMD（向量/数组）处理器的灵活演化，讨论了数据并行性、存储体分组、体冲突、串行瓶颈以及SIMD指令历史（如MMX），强调GPU如何利用数据并行性并应对串行瓶颈。