bfloat16

标签

Cards List
#bfloat16

偏差累积,方差抵消

Hacker News Top ↗ · 2026-05-29 缓存

本文证明,对BF16优化器状态使用随机舍入可以匹配FP32性能,因为无偏误差随时间抵消,而四舍五入则因累积偏差而停滞。一项使用MLP的实验表明,BF16+SR在减少内存使用的同时达到了与FP32相似的损失。

0 人收藏 0 人点赞
#bfloat16

重新参数化Shampoo和SOAP以支持子空间基更新和BFloat16存储

arXiv cs.LG ↗ · 2026-05-27 缓存

本文提出了一种对基于Shampoo的优化方法(如KL-Shampoo和SOAP)中预条件器的重新参数化,以支持BFloat16存储,并通过在子空间中仅通过QR分解更新部分基来减少计算开销,从而使这些方法在内存和时间上更高效。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈