标签
本文提出了一种名为ReNC的开放世界测试时适应方法，该方法利用神经坍缩作为结构先验来过滤分布外样本并优化原型，以实现可靠的模型适应。
本文提出了一种使用正交Procrustes对齐的审计协议，用于在Neural Collapse后检测神经网络中的供体特异性功能指纹，证明了在使用MLP-5网络对MNIST进行训练后，即使收敛后，不同的功能变化仍然可区分。
本文认为，语言模型表示中的类内方差并非不完全的神经坍缩，而是分配的信息存储，且这种分配服从信息下限定律。在14个模型中，宏观类别结构仅承载4–12%的表示方差，而词元内上下文则占据79–91%。
本文研究了类别标签编码如何影响神经网络分类器中的神经坍缩，表明在独热编码和平衡数据下，随着偏置正则化增加，未中心化的均值特征从单纯形等角紧框架转变为正交框架。
本文研究深度本身如何在没有正则化训练的情况下，在深度无约束特征模型中引致隐式低秩偏差，将最优解从神经坍缩转向Softmax编码，并首次给出了在交叉熵损失下梯度下降中这一偏差的渐近和动态表征。
本文表明，交叉熵和监督对比学习都是超球面上的原型学习形式，并提出了归一化损失函数（NTCE和NONL），这些损失函数通过设计实现Neural Collapse，性能优于标准方法。