model-width

标签

Cards List
#model-width

@maximelabonne:事实证明你从来都不需要真正需要µP,你只需要按模型宽度缩放嵌入学习率。我不是nanoGP…

X AI KOLs Following · 2026-05-21 缓存

一条推文指出,按模型宽度缩放嵌入学习率可以替代µP(微参数化)的需求,并提到对隐藏层使用Muon优化器,其余部分使用Adam。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈