low-communication

提出 DiLoCo，一种分布式优化算法，能够在弱连接设备上训练大型语言模型，通信量减少500倍，同时达到与全同步训练相当的性能。

DeepMind 推出 Decoupled DiLoCo，这是一种新型分布式 AI 训练架构，通过隔离硬件故障，实现大型模型在全球分散数据中心之间的弹性、低带宽训练。