neural-network-scaling

本文定义了一个一阶准则，用于确定训练好的残差神经网络是否具有足够的深度，证明了插入候选处缺乏严格局部递减表征了深度饱和，并在ResNets、GPT-2风格模型和Pythia检查点上进行了经验验证。