micro-pretraining

本文研究了一种用于微预训练的分阶段提升协议，使用从分钟到小时递增的预算来筛选配置。研究发现，早期筛选是有用的但不稳定，并且分阶段方法可以保留长期参考，同时识别出未能通过继续阈值的替代方案。

本文提出了一种适用于预算受限微预训练的分阶段因子筛选工作流，表明短期的设计实验能够识别稳定的超参数惩罚方向，并支持“筛选-优化”策略。