神经网络可证明学习群组合的谱表示

arXiv cs.LG 论文
neural-networks group-theory representation-learning spectral-methods deep-learning-theory feature-learning

摘要

本文从理论上证明，在群组合任务上训练的两层神经网络可以学习谱表示，其中神经元收敛到不可约表示并实现旋转秩一对齐，为特征学习提供了表示论的解释。

arXiv:2606.02993v1 公告类型：新 摘要：理解神经网络训练过程中结构化内部结构的出现是深度学习研究的核心。我们通过群组合任务来研究这一现象，该任务训练一个两层神经网络预测有限群 $G$ 的元素 $g_1 \star g_2$。通过将投影梯度流提升到傅里叶域，我们证明了训练动力学由表示论能量泛函上的黎曼梯度上升控制。我们证明，在随机初始化下，该流驱动每个神经元几乎必然收敛到单个不可约表示，而跨层傅里叶系数实现旋转秩一对齐。该框架为特征学习提供了表示论的解释，并刻画了矩阵值群表示的一种新颖的低秩压缩现象。此外，对于阿贝尔群，我们提供了完整的总体水平描述：随机初始化促进非平凡表示上的均匀多样化，并诱导哈尔均匀相位，通过多数投票机制共同逼近指示函数。我们进一步证明了相位对齐和表示竞争都以指数收敛速度出现。
查看原文
查看缓存全文

缓存时间: 2026/06/03 09:41 

# 神经网络可证明学习群组合的谱表示
来源：https://arxiv.org/abs/2606.02993
查看PDF（https://arxiv.org/pdf/2606.02993）

> 摘要：理解神经网络训练过程中如何涌现结构化内部结构，是深度学习研究的核心问题。我们通过群组合任务研究这一现象——在该任务中，一个两层神经网络被训练用于预测有限群 \(G\) 中元素 \(g_1 \star g_2\) 的结果。通过将投影梯度流提升到傅里叶域，我们证明训练动态由一个表示论能量泛函上的黎曼梯度上升所支配。我们证明，在随机初始化条件下，该梯度流几乎必然地驱动每个神经元收敛到单个不可约表示，同时跨层的傅里叶系数达到旋转秩一对齐。该框架为特征学习提供了一种表示论解释，并刻画了矩阵值群表示的一种新颖的低秩压缩现象。此外，对于阿贝尔群，我们给出了完整的总体水平描述：随机初始化促进非平凡表示上的均匀多样化，并诱导哈测度均匀相位，通过多数投票机制联合逼近指示函数。我们进一步证明，相位对齐和表示竞争均以指数收敛速度出现。

## 提交历史

来自：何建良 ［查看邮箱（https://arxiv.org/show-email/5cd88b73/2606.02993）］ **［v1］**2026年6月2日 星期二 01:04:21 UTC（6,164 KB）

相似文章

神经网络可证明地学习群组合的谱表示

Hugging Face Daily Papers

本文提供了神经网络在群组合任务中学习结构化表示的理论分析，证明了训练动态驱动神经元以指数收敛速度收敛到不可约群表示。该工作建立了特征学习的表示理论解释，并刻画了矩阵值群表示的低秩压缩现象。

群等变Poincaré卷积网络

arXiv cs.LG

本文提出了等变Poincaré ResNets，将双曲几何与离散对称群相结合，通过将旋转特征视为对称而非不同的分层概念，提高了学习视觉表示的效率。