标签
本文利用奇异值分解分析LLM的后训练权重更新，识别出驱动性能提升的几何成分，表明重塑奇异值不如旋转和路由变化关键。
本文解释了截断SVD及其与主成分分析的关系，展示了如何通过使用更少的奇异值重建图像来近似原图。它以月球图像为例说明重建过程。
本文追溯了截至1993年奇异值分解（SVD）的发展历程，梳理其起源与关键贡献。该论文是理解众多现代数据分析与机器学习技术数学基础的经典参考文献。
这篇博客文章从头开始解释了如何推导奇异值分解（SVD），重点强调了背后的直觉和概念动机，认为传统的数学书籍往往只呈现形式化的结论，而没有展示探索的过程。
本文在大规模语言模型预训练中发现了一种称为奇异性分布稳定性（SoSD）的谱现象，其中奇异值谱在早期就趋于稳定，而参数仍在持续演化。作者证明，这种稳定标志着训练进入慢速下降阶段，并分析了WSD和Muon等训练策略如何影响这一行为。
本文介绍了保持旋转的有监督微调（RPSFT），这是一种通过在微调过程中保持预训练奇异子空间中的投影旋转来提高域外泛化能力的方法。