riemannian-optimization

本文提出Stiefel注意力机制，通过黎曼优化将Transformer查询与关键投影矩阵约束于Stiefel流形上，实验证明该方法在模运算格罗金现象与CIFAR-10图像块任务中均展现出性能提升。

本文提出了在 Hadamard 流形上针对 horospherical 凸函数的分布式黎曼在线梯度下降方法，其遗憾界与曲率无关，并实现与欧几里得优化相匹配的速率。

GeoSteer 是一种基于优化的方法，用于大型语言模型中的保持范数激活引导，通过在表示流形上使用测地线更新来增强对模型行为的控制，同时保持激活范数。