spectral-optimization

标签

Cards List
#spectral-optimization

基于各向同性曲率联合切空间优化的秩高效LoRA方法

arXiv cs.LG ↗ · 2026-09-14 缓存

本文介绍了Iso-LoRA,一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器,从而增强LoRA,提高语言模型适配中的有效秩和下游性能。

0 人收藏 0 人点赞
#spectral-optimization

基于无调度频谱优化的随时训练

arXiv cs.LG ↗ · 2026-05-25 缓存

本文介绍了SF-NorMuon,一种无调度频谱优化器,在参数规模达7.72亿的语言模型上匹配或超越调优后的AdamW,并提供了平稳性和长期稳定性的理论保证。

0 人收藏 0 人点赞
#spectral-optimization

Orth-Dion: 消除分布式低秩谱优化中的几何失配

arXiv cs.LG ↗ · 2026-05-19 缓存

本文指出了Dion低秩谱优化器中的几何失配,并提出了Orth-Dion,该方案用QR正交化替换列归一化,以在相同通信成本下弥合与Muon等全秩方法的收敛差距,并在大规模语言模型预训练中进行了验证。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈