symmetry

本文提出了一种方法，利用对称性质从约束规范中自动生成局部搜索邻域，并在六个优化问题上进行了评估。

研究人员提出了对称兼容优化器，这些优化器尊重神经网络参数的等变性结构，相比 Adam 等传统方法提高了训练稳定性和性能。该方法在多种语言模型架构上得到验证，包括 Qwen3-0.6B、Gemma 3 1B 和 OLMoE-1B-7B。