标签
本文介绍了Stiefel-AdamW，一种用于深度学习中线性分解模块的几何感知优化器，它增强了稳定性和性能，并在GPT2、ViT和Mistral 7B等模型上得到验证。
本文提出Stiefel注意力机制，通过黎曼优化将Transformer查询与关键投影矩阵约束于Stiefel流形上，实验证明该方法在模运算格罗金现象与CIFAR-10图像块任务中均展现出性能提升。
本文介绍了NS-RIS，一种基于Newton-Schulz回缩的可扩展算法，用于在Stiefel流形上学习隐藏量子马尔可夫模型，首次提供了数学性能保证和实证证据，表明HQMM在非量子生成的数据上可以优于EM训练的HMM。
提出PP-CPCANet，一种用于领域泛化的无协方差框架，其在Stiefel流形上学习全局正交基，并在四个基准数据集上实现了SOTA性能。
本文介绍 MAPL，一种针对流水线并行中激活值进行学习型正交压缩的方法，通过 Stiefel 流形约束和逐阶段分解锚定嵌入，在保持性能的同时降低通信开销。
FoRA提出了一种参数高效微调方法，通过Fisher评分选择任务相关层，并在Stiefel流形上训练LoRA下投影，在保持精度的同时减少参数。