@maximelabonne：事实证明你从来都不需要真正需要µP，你只需要按模型宽度缩放嵌入学习率。我不是nanoGP…

X AI KOLs Following 新闻
embedding learning-rate model-width scaling training optimization

摘要

一条推文指出，按模型宽度缩放嵌入学习率可以替代µP（微参数化）的需求，并提到对隐藏层使用Muon优化器，其余部分使用Adam。

事实证明你从来都不需要真正需要µP，你只需要按模型宽度缩放嵌入学习率。 我不是nanoGPT速度赛跑者，但这不是人们通过使用Muon处理隐藏层加上Adam处理其余部分偶然发现的东西吗？https://t.co/Ybs5C2rhlH
查看原文
查看缓存全文

缓存时间: 2026/05/22 03:49

原来你根本不需要μP，你只需要按模型宽度缩放嵌入学习率就行。

我不是nanoGPT速通玩家，但人们不就用Muon处理隐藏层、Adam处理其余部分，无意中撞上这个点的吗？https://t.co/Ybs5C2rhlH

相似文章

@YRSM_Simon: 太厉害了

X AI KOLs Timeline

shi3z分享在不支持FP4的A100 GPU上运行DeepSeek v4.1 Flash的优化经验，将推理速度从33 tok/s提升至673 tok/s，超过官方API速度。