autodist

本文作者分享了从nnScaler到大规模分布式训练系统的经验与思考，讨论了训练系统的正确性、灵活性、边界扩展以及后训练与强化学习带来的挑战。