expert-training-duration

本文挑战了关于模型合并中领域专家应训练至最优验证损失的常见假设，表明最优训练时长在很大程度上取决于合并方法。简单平均法会因过拟合而性能下降，而基于稀疏化的方法则能从超出最优点的训练中获益。研究建议训练时长与合并方法应联合选择。