adam-optimizer

该论文定位了LLM持续预训练/微调中灾难性遗忘的根源——语料库中罕见词元的输出嵌入，并提出仅提升输出投影层Adam ε值的单行优化器改动，在160M至12B参数规模上消除了39.4%至67.9%的遗忘且不损害目标学习。

本文对Adam优化器在单维二次函数上的稳定性边缘现象进行了理论分析，证明了Adam表现出一种恢复机制，将尖锐度推向稳定性阈值。

这条推文列出了机器学习工程师每天使用的7个基础数学概念，并简要强调了这些概念背后的推导过程，例如为什么梯度下降沿着最陡方向移动，以及为什么softmax加交叉熵会产生一个干净的梯度。