标签
本文将 Adam 视为自然梯度下降的对角经验 Fisher 近似，并在逻辑回归、线性回归以及小型神经网络的损失景观上度量其几何偏差。结果表明，病态性越强偏差越大，但 Adam 仍能达到较低的损失值，这说明其有效性源于近似误差的平衡与动量平滑效应，而非真正追踪自然梯度下降。