sign-methods

标签

Cards List
#sign-methods

SignMuon: 通信高效的分布式Muon优化

arXiv cs.LG · 2026-05-19 缓存

SignMuon是一种1位、感知矩阵的分布式训练优化器,它结合了signSGD的多数投票符号聚合与Muon的极坐标步骤框架,在float32基础上实现32倍带宽缩减,同时在CIFAR-10/ResNet-50和nanoGPT等基准测试上保持强大的收敛性和性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈