neural-collapse

本文研究了类别标签编码如何影响神经网络分类器中的神经坍缩，表明在独热编码和平衡数据下，随着偏置正则化增加，未中心化的均值特征从单纯形等角紧框架转变为正交框架。

本文研究深度本身如何在没有正则化训练的情况下，在深度无约束特征模型中引致隐式低秩偏差，将最优解从神经坍缩转向Softmax编码，并首次给出了在交叉熵损失下梯度下降中这一偏差的渐近和动态表征。

本文表明，交叉熵和监督对比学习都是超球面上的原型学习形式，并提出了归一化损失函数（NTCE和NONL），这些损失函数通过设计实现Neural Collapse，性能优于标准方法。