cross-task-generalization

本文介绍了Evolution Fine-Tuning (EFT)，这是一种中期训练范式，通过将进化搜索轨迹转化为监督信号，教会大语言模型跨优化任务进化解决方案。作者构建了包含156K条轨迹、涵盖371个任务的Finch Collection数据集，并证明微调后的模型能够泛化到保留任务，并在多个基准测试上达到最先进性能。