orthogonal-transformation

CORAM 提出了一种用于模型合并的一致正交旋转方法，该方法将权重矩阵分割为行切片，在基础模型的帧中使用奇异值分解（SVD），并在流形上合并更新，以提高现有技术的准确性。

本文介绍了正交概念擦除（OCE），一种通过乘法正交参数更新从扩散模型中精确移除目标概念的方法，能够在数秒内高效擦除单个及多达100个概念。

InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。

本文介绍了 Pion，这是一种用于大语言模型训练的的新型谱保持优化器。它利用正交等价变换在权重更新过程中维持奇异值，从而提供与标准优化器相当的稳定性能。