orthogonal-gradients

本文介绍了 OrthoGrad，这是一种几何干预，在优化过程中去除权重梯度的径向分量，并表明它在小数据场景下减少了对噪声标签的记忆，但无法防止最终的记忆。