softmax-codes

#softmax-codes

深度隐含偏差：从神经坍缩到Softmax编码

arXiv cs.LG ↗ · 2026-05-25 缓存

本文研究深度本身如何在没有正则化训练的情况下，在深度无约束特征模型中引致隐式低秩偏差，将最优解从神经坍缩转向Softmax编码，并首次给出了在交叉熵损失下梯度下降中这一偏差的渐近和动态表征。

0 人收藏 0 人点赞