shampoo

标签

Cards List
#shampoo

为什么像 Shampoo、SOAP 和 Adam 这样的优化器不去测量类似 Fisher 信息矩阵那样的真实每样本二阶矩?[d]

Reddit r/MachineLearning ↗ · 2天前

一篇技术讨论,论证 Shampoo、Muon 和 Adam 在近似二阶矩(如 Fisher 信息矩阵)时都丢弃了每样本协方差项,并质疑为什么使用真实的二阶矩反而表现不如这些近似方法。

0 人收藏 0 人点赞
#shampoo

重新参数化Shampoo和SOAP以支持子空间基更新和BFloat16存储

arXiv cs.LG ↗ · 2026-05-27 缓存

本文提出了一种对基于Shampoo的优化方法(如KL-Shampoo和SOAP)中预条件器的重新参数化,以支持BFloat16存储,并通过在子空间中仅通过QR分解更新部分基来减少计算开销,从而使这些方法在内存和时间上更高效。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈