decentralized-training

Agora支持利用通过互联网连接的异构、可抢占的消费级GPU进行集体化、无许可的互联网规模大型语言模型预训练，成功使用330个节点的Pluralis-8B训练运行证明了这一点。

Nous Research推出了Psyche，这是一种去中心化基础设施，用于在分布式异构硬件上训练大型语言模型，采用新型优化器DeMo和DisTrO大幅降低通信开销。

MERIT 引入了冲突感知拆分和权重合并，用于去中心化指令微调，实现了无需跨分区梯度同步的性能提升。