collective-communication

解释多GPU系统的通信模型，涵盖延迟与带宽之间的权衡，并比较MST和Ring算法在广播等集合操作中的应用。

一篇新的深入博客文章解释了多GPU的集体通信，涵盖广播和归约等原语，并帮助初学者理解如何扩展实验。