symmetry-compatible

引入了适用于 LLM 优化器设计的对称兼容原则，由此得到一个逐层优化器栈，为嵌入层、LM 头、SwiGLU MLP 和 MoE 路由器提供了有原则的更新，在多种架构上展现出优于 AdamW 的验证损失。