深度双下降

# 深度双重下降 来源：https://openai.com/index/deep-double-descent/ 上方的图表展示了测试误差和训练误差随模型规模与优化步数的变化。对于给定的优化步数（固定 y 坐标），测试误差和训练误差呈现出模型规模的双重下降。对于给定的模型规模（固定 x 坐标），随着训练的进行，测试误差和训练误差先下降、再上升、之后再次下降；我们将这种现象称为 epoch 级别的双重下降。 *通常，测试误差的峰值系统性地出现在模型刚刚能够拟合训练集的时候。* 我们的直觉是，对于处于插值阈值的模型，实际上只有一个模型能够拟合训练数据，而强迫它拟合即使带有轻微噪声或错误标注的标签，也会破坏其整体结构。也就是说，既能够插值训练集又在测试集上表现良好的“好模型”并不存在。然而，在过参数化区域，存在许多能够拟合训练集的模型，并且其中不乏这样的好模型。此外，随机梯度下降（SGD）的隐式偏差会引导它找到这些好模型，其原因我们尚不完全理解。 我们将全面理解深度神经网络中双重下降背后的机制视为一个重要的开放问题。