标签
一篇博客文章详细描述了作者如何在GPU模式竞赛中使用Codex优化内核,在QR分解中实现232倍加速,并分享自动研究的经验。
Sankalp的博客文章,详细描述了他如何使用Codex在GPU Mode的竞赛中为QR分解实现快232倍的GPU内核,并概述了他的自动研究方法论。
本文提出了一种对基于Shampoo的优化方法(如KL-Shampoo和SOAP)中预条件器的重新参数化,以支持BFloat16存储,并通过在子空间中仅通过QR分解更新部分基来减少计算开销,从而使这些方法在内存和时间上更高效。