optimizer-selection

OmniOpt 提出了一个用于大规模模型训练中优化器选择的统一框架，该框架结合了元流水线变换、范数约束的线性最小化预言机以及跨领域基准，以系统分析优化器家族及其权衡。