gelu-activation

本文对导数正则化（DREG）惩罚进行了大规模实证研究，表明其在高精度和噪声鲁棒性方面表现优异，特别是使用GELU激活函数和数据稀缺场景，将其定位为神经网络的一种通用即插即用正则化器。