标签
本文推导了任意宽度和深度的线性神经网络的Hessian矩阵的特征值，表明在分类任务中使用MSE损失时，尖锐度与最大类别比例相关，并通过实验验证了预测结果。
本文证明，深度标量线性网络中的最优学习率缩放本质上依赖于数据，这与先前数据无关的缩放规则相矛盾。它表明，在依赖数据的缩放下，收敛变得与深度无关，包括在无限深度下。
# 深度线性网络中的非线性计算 来源：[https://openai.com/index/nonlinear-computation-in-deep-linear-networks/](https://openai.com/index/nonlinear-computation-in-deep-linear-networks/) `` ``` 1x = tf.placeholder(dtype=tf.float32, shape=[batch_size,784]) 2y = tf.placeholder(dtype=tf.float32, shape=[batch_size,10]) 34w1 = tf.Variable(np.random.normal(scale=np.sqrt(2./784),size=[784,512]).astype(np.float32)) 5b1 = tf.Variable(np.zeros(512,dtype=np.float32)) 6w2 = tf.Variable(np.random