mu-parameterization

本文介绍了一个量化大语言模型中超参数迁移的框架，并发现在使用 AdamW 训练时，μP 相对于 SP 的优势主要源于提高了嵌入层学习率。此外，还探讨了权重衰减及其他因素的影响。