mu-p

这篇论文澄清，在AdamW下，µP的嵌入学习率规则（常数）基本正确，并解释了µP的大部分优势，这与Hayou等人先前关于现实LLM词汇规模的研究发现相反。