pytorch-monarch

本文描述了将分布式训练运行时 PyTorch Monarch 移植到基于 ROCm 的 AMD GPU 的过程，实现了大规模单控制器容错训练，并解决了大规模 LLM 训练中的可靠性挑战。