qr-decomposition

Sankalp的博客文章，详细描述了他如何使用Codex在GPU Mode的竞赛中为QR分解实现快232倍的GPU内核，并概述了他的自动研究方法论。

本文提出了一种对基于Shampoo的优化方法（如KL-Shampoo和SOAP）中预条件器的重新参数化，以支持BFloat16存储，并通过在子空间中仅通过QR分解更新部分基来减少计算开销，从而使这些方法在内存和时间上更高效。