natural-gradient-descent

本文将 Adam 视为自然梯度下降的对角经验 Fisher 近似，并在逻辑回归、线性回归以及小型神经网络的损失景观上度量其几何偏差。结果表明，病态性越强偏差越大，但 Adam 仍能达到较低的损失值，这说明其有效性源于近似误差的平衡与动量平滑效应，而非真正追踪自然梯度下降。

本文介绍了DP-NGD，一个实用框架，通过将曲率估计与私有数据解耦，并协调各向同性DP约束与各向异性二阶优化，将自然梯度下降与差分隐私相结合，在相同隐私预算下实现了最先进的准确率和高达10倍的收敛速度提升。