monarch

AMD 和 Meta 贡献者将 PyTorch Monarch 移植到 AMD Instinct GPU 并配合 ROCm，实现了大规模容错分布式训练。该博客详细介绍了工程工作以及在大型集群上的验证情况。