标签
提出了高效长时域优化（ELO）学习，一种元训练算法，它将计算重新分配给更长的时域，并使用解耦的渐进式专家监督，提高了学习优化器在长展开任务和分布外泛化上的性能。ELO-Celo2在语言建模任务上持续优于AdamW，并与Muon性能相当。