adam-optimizer

本文对Adam优化器在单维二次函数上的稳定性边缘现象进行了理论分析，证明了Adam表现出一种恢复机制，将尖锐度推向稳定性阈值。

这条推文列出了机器学习工程师每天使用的7个基础数学概念，并简要强调了这些概念背后的推导过程，例如为什么梯度下降沿着最陡方向移动，以及为什么softmax加交叉熵会产生一个干净的梯度。