symmetry-breaking

本文证明，使用大步长的离散梯度下降能够恢复多路径深度线性网络中的对称性，这与梯度流所预测的对称性破缺相反，并导致跨路径的信号重新平衡。作者从理论上证明，平衡解比稀疏解更平坦（锐度更低），且大的学习率驱动网络朝着稳定、平衡的配置发展。

本文介绍了 Diamond Attention，这是一种用于多智能体强化学习的方法，通过引入结构化随机性来打破对称性，从而实现同质智能体之间的角色区分，在 XOR 游戏等对称任务中实现了完美的协调。