标签
本文介绍了一个用于理解自适应矩估计方法（如 Adam）的信任域框架，推导出一族基于 p 阶矩约束（2≤p≤4）的学习率机制，包括基于峰度的变体（Gmake）。在 GPT2-124M 上的实验表明，当信任域控制更强时，二阶矩版本变得更具竞争力。
作者认为，对于样本量低于1万的数据集，QLoRA微调中常用的2e-4学习率过高，会导致过拟合和评估效果不佳，并建议使用更低的学习率，如1e-4。
本文研究了GRPO后训练是否能提升小规模（4B-8B）语言与视觉语言模型网络代理的性能。结果发现了一个受控的零结果：没有任何配置能在已掌握任务上带来可信的提升，且中高学习率会导致性能退化或崩溃，揭示了退化与崩溃状态之间的双重分离。
本文介绍了一个量化大语言模型中超参数迁移的框架，并发现在使用 AdamW 训练时，μP 相对于 SP 的优势主要源于提高了嵌入层学习率。此外，还探讨了权重衰减及其他因素的影响。
一条推文指出，按模型宽度缩放嵌入学习率可以替代µP（微参数化）的需求，并提到对隐藏层使用Muon优化器，其余部分使用Adam。
一位用户发现，将学习率从2e-4降低到1e-4显著改善了Llama 3.1 8B在小型数据集（8k样本）上的QLoRA微调效果，防止了过拟合，并获得了更好的评估结果。
本文利用KL散度和Bregman几何，推导了信念空间动力学中允许的学习率步长的闭式上界，重点关注交叉熵分类任务。