local-optimization

#local-optimization

内部优化器如何影响副本扩展

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文研究了分布式大语言模型训练中内部优化器如何影响副本扩展，识别出伪梯度协方差结构与噪声尺度两个关键因素，并从理论和实证上证明，基于白化的预条件优化器能够实现最强的工作节点扩展性能。

0 人收藏 0 人点赞