标签
本文推导了带偏置的浅层ReLU网络中总体损失的公式,表明偏置严格降低损失并扩展了已知的临界点族。
本文研究了具有单项式激活函数的深度全连接网络中的临界点,证明了当激活度足够大时,临界性恰好出现在子网络中,从而为模型倾向于收敛到更简单函数的隐式偏差提供了数学视角。