subspace-basis

本文提出了一种对基于Shampoo的优化方法（如KL-Shampoo和SOAP）中预条件器的重新参数化，以支持BFloat16存储，并通过在子空间中仅通过QR分解更新部分基来减少计算开销，从而使这些方法在内存和时间上更高效。