标签
本文提出“检索中心深度学习”（RCDL）范式，通过为每个训练样本存储键值对，并在推理时用注意力机制检索重组，构建不断增长的非参数神经网络，并为基于RBF与softmax核的注意力层推导了基于函数梯度的学习规则。实验展示了其在图像分类和合成师生任务上的潜力，并揭示了MesaNet/DeltaNet等线性注意力变体与近期优化器的形式化联系。
本文通过缩放定律量化了神经网络中记忆到泛化的转变（Grokking），揭示了与模型容量相比，数据复杂度是转变时间的主要驱动因素。
本文提出了一种关于ReLU网络的指数型深度层次结构，基于L2近似误差，证明更深的网络在函数近似上提供了指数级的表征能力提升。
本文使用Kähler几何和信息流形探讨复数神经网络中的优化景观，为下降路径提供理论保证，并分析Calabi-Yau度量的影响。
A theoretical study shows that in overparameterized ReLU networks, a positive-homogeneous scaling gauge hidden in the initial parameters can deterministically control which duplicate neuron learns a teacher feature, affecting specialization time and pruning trajectories.
本文研究无限小初始化下对角线性网络的梯度流动力学，将先前结果推广至深层网络及更广的类别。研究表明，隐式偏差对应于一个修正的ℓ1范数，并将Structural Invariant Manifold（SIM）识别为关键的几何结构。
MIT研究人员表明，神经网络训练中的稳定边缘（EoS）不仅仅是一个全局优化现象，而是选择性地在训练分布的子集上重新分配学习，放大某些数据组的进展同时抑制其他组。他们识别出控制这种分配的两个关键条件：梯度与Hessian矩阵最大特征向量的对齐，以及持续非消失的梯度幅度。
本文从理论上证明，在群组合任务上训练的两层神经网络可以学习谱表示，其中神经元收敛到不可约表示并实现旋转秩一对齐，为特征学习提供了表示论的解释。
本文提供了神经网络在群组合任务中学习结构化表示的理论分析，证明了训练动态驱动神经元以指数收敛速度收敛到不可约群表示。该工作建立了特征学习的表示理论解释，并刻画了矩阵值群表示的低秩压缩现象。
本文识别了流形假设下扩散模型中的坍缩与精炼机制，提出了分数诱导潜在扩散（SiLD），该方法可证明地避免了维度灾难。实验表明，SiLD在生成质量上匹配或超越基于VAE的潜在扩散模型。
本文认为，循环模型中鲁棒的状态跟踪取决于误差控制动力学，而不仅仅取决于表达能力，证明了仿射循环网络会遭受累积误差的影响，从而限制了其有效视野。