标签
该论文提出 GapFT 这一微调方法,依据模型的 Pass@K 与 Pass@1 之间的差距来筛选训练样本。在 LogiQA 2.0 和 ReClor 上的结果表明,该方法能在大幅减少数据用量(远少于均匀验证式 RFT)的同时,显著提升单样本准确率。
本文提出在LLM后训练中使用进化策略(ES)而非强化学习,表明ES能提升解决方案覆盖率(pass@k),并在数学基准上取得更好结果。