orthogonalization

这项工作提出对mLSTM循环模型的记忆矩阵进行正交化，以提高其在噪声关联回忆任务上的性能。实验表明，与基线mLSTM相比，使用牛顿-舒尔茨迭代进行只读正交化可提升验证准确率。

本文提出SCBoost，一种通过将残差投影到先前预测的正交补上并使用协方差正则化加权来降低学习器冗余的Boosting框架，具有理论保证和强大的实证性能。

本文介绍了Gram Newton-Schulz，这是对Muon优化器中使用的牛顿-舒尔茨正交化过程的一种硬件感知优化，能够在保持模型质量的同时显著加速大型语言模型的训练。

本文提出动态上下文正交化（DCO），一种推理时方法，通过将注意力头输出与上下文流形对齐来减少大型语言模型中的幻觉，在Llama-3模型的基准测试中实现了更优的忠实度。

本文研究了Muon优化器需要多少正交化，提出了一种五步三次牛顿-舒尔茨方案，该方案降低了计算成本，同时在GPT-2 Small和混合MoE/Mamba模型上实现了与更昂贵方法相似的训练质量。