@TensorTonic: 7个机器学习工程师每天使用但几乎没人真正推导的数学概念：1. 为什么梯度下降沿着……移动

每个机器学习工程师每天都会用到但几乎没人真正推导过的7个数学概念：

1. 为什么梯度下降沿着最陡下降方向移动，不仅仅是下坡，而且可证明是最陡方向，直接来自方向导数的定义。

2. 为什么 softmax 加交叉熵会坍缩成那个可疑地简洁的梯度 pred minus true，以及一旦你替换损失函数会有什么破坏。

3. 为什么链式法则就是反向传播，而不是一个类比，对计算图机械应用同一操作。

4. 为什么将注意力分数除以根号 d_k 不是随意为之，它是方差控制，可以从点积随维度缩放的方式推导出来。

5. 为什么 KL 散度不对称，以及当你选择前向 KL vs 反向 KL 时，这种不对称实际上会让你付出什么代价。

6. 为什么 Adam 的二阶矩估计悄悄近似于对角 Hessian 矩阵，使其伪装成拟牛顿法。

7. 为什么特征向量是矩阵不旋转的方向，这个几何事实一下子让 SVD、PCA 和谱聚类豁然开朗。