monomial-networks

本文研究了具有单项式激活函数的深度全连接网络中的临界点，证明了当激活度足够大时，临界性恰好出现在子网络中，从而为模型倾向于收敛到更简单函数的隐式偏差提供了数学视角。