神经网络可证明学习群组合的谱表示

arXiv cs.LG 论文
neural-networks group-theory representation-learning spectral-methods deep-learning-theory feature-learning

摘要

本文从理论上证明，在群组合任务上训练的两层神经网络可以学习谱表示，其中神经元收敛到不可约表示并实现旋转秩一对齐，为特征学习提供了表示论的解释。

arXiv:2606.02993v1 公告类型：新 摘要：理解神经网络训练过程中结构化内部结构的出现是深度学习研究的核心。我们通过群组合任务来研究这一现象，该任务训练一个两层神经网络预测有限群 $G$ 的元素 $g_1 \star g_2$。通过将投影梯度流提升到傅里叶域，我们证明了训练动力学由表示论能量泛函上的黎曼梯度上升控制。我们证明，在随机初始化下，该流驱动每个神经元几乎必然收敛到单个不可约表示，而跨层傅里叶系数实现旋转秩一对齐。该框架为特征学习提供了表示论的解释，并刻画了矩阵值群表示的一种新颖的低秩压缩现象。此外，对于阿贝尔群，我们提供了完整的总体水平描述：随机初始化促进非平凡表示上的均匀多样化，并诱导哈尔均匀相位，通过多数投票机制共同逼近指示函数。我们进一步证明了相位对齐和表示竞争都以指数收敛速度出现。
查看原文
查看缓存全文

缓存时间: 2026/06/03 09:41 

# 神经网络可证明学习群组合的谱表示
来源：https://arxiv.org/abs/2606.02993
查看PDF（https://arxiv.org/pdf/2606.02993）

> 摘要：理解神经网络训练过程中如何涌现结构化内部结构，是深度学习研究的核心问题。我们通过群组合任务研究这一现象——在该任务中，一个两层神经网络被训练用于预测有限群 \(G\) 中元素 \(g_1 \star g_2\) 的结果。通过将投影梯度流提升到傅里叶域，我们证明训练动态由一个表示论能量泛函上的黎曼梯度上升所支配。我们证明，在随机初始化条件下，该梯度流几乎必然地驱动每个神经元收敛到单个不可约表示，同时跨层的傅里叶系数达到旋转秩一对齐。该框架为特征学习提供了一种表示论解释，并刻画了矩阵值群表示的一种新颖的低秩压缩现象。此外，对于阿贝尔群，我们给出了完整的总体水平描述：随机初始化促进非平凡表示上的均匀多样化，并诱导哈测度均匀相位，通过多数投票机制联合逼近指示函数。我们进一步证明，相位对齐和表示竞争均以指数收敛速度出现。

## 提交历史

来自：何建良 ［查看邮箱（https://arxiv.org/show-email/5cd88b73/2606.02993）］ **［v1］**2026年6月2日 星期二 01:04:21 UTC（6,164 KB）

相似文章

神经网络可证明地学习群组合的谱表示

Hugging Face Daily Papers

本文提供了神经网络在群组合任务中学习结构化表示的理论分析，证明了训练动态驱动神经元以指数收敛速度收敛到不可约群表示。该工作建立了特征学习的表示理论解释，并刻画了矩阵值群表示的低秩压缩现象。

特征组合的结构不稳定性

arXiv cs.LG

本文提出了一个几何框架来分析稀疏自编码器中特征组合的不稳定性，揭示了非线性导致棘轮效应，从而在超过临界密度时引发组合坍塌。

学习一致性表征：一种拓扑可解释性方法

arXiv cs.LG

本文介绍了一致性（coherence）这一几何约束，受大脑中网格细胞和头朝向细胞的启发。一致性确保特征响应数据流形上的几何连通区域，从而提升可解释性；作者提出了一个可微分的目标函数（Coh），并在合成数据、旋转MNIST和BERT词元嵌入上进行了验证。