标签
一篇技术讨论,论证 Shampoo、Muon 和 Adam 在近似二阶矩(如 Fisher 信息矩阵)时都丢弃了每样本协方差项,并质疑为什么使用真实的二阶矩反而表现不如这些近似方法。
本文提出了一种对基于Shampoo的优化方法(如KL-Shampoo和SOAP)中预条件器的重新参数化,以支持BFloat16存储,并通过在子空间中仅通过QR分解更新部分基来减少计算开销,从而使这些方法在内存和时间上更高效。