moe-training

Alatkins宣布在拉斯维加斯的AI4大会上发表一场临时演讲，内容涵盖Trinity Large演讲的更新版本，并预告了关于训练一个400B MoE模型至17T tokens而无损失尖峰的内容。