preconditioning

SS-eSOAP引入了一种针对物理信息神经网络的自缩放自适应预条件方法，通过减少残差来提高优化性能，并在各种PDE基准测试中实现了比基线方法更高的准确性。

本文研究了在因子化模型中，为什么 Adam 不表现出梯度下降所具有的隐式低秩偏差，并表明逐坐标预处理打破了相关对称性，而共享标量方法（如 Muon 和 Shampoo）则保持了这种对称性。

本次论文更新提出了一种通用序列预处理方法，该方法利用二阶VAW算法和Faber多项式，为边际稳定线性动态系统实现了无维度遗憾界。

Zeta 提出了一种双白化优化器，它首先应用坐标白化，再进行谱白化，以解决动量矩阵中的尺度异质性，从而降低正交化误差，并在大规模神经网络训练中改善收敛速度和泛化性能。

本文提出了一种对基于Shampoo的优化方法（如KL-Shampoo和SOAP）中预条件器的重新参数化，以支持BFloat16存储，并通过在子空间中仅通过QR分解更新部分基来减少计算开销，从而使这些方法在内存和时间上更高效。

AdaPreLoRA 是一种新颖的 LoRA 优化器，它利用 Adafactor 对角 Kronecker 预条件来改进因子空间更新，同时保持低内存占用，在各种大语言模型（LLM）和任务中表现出具有竞争力的性能。