adaptive-training

LLMZero利用LLM智能体通过树搜索在训练轨迹中进行搜索，发现用于强化学习后训练的自适应多参数过渡策略，该策略在多种任务中优于固定调度和网格搜索。

自适应教师暴露自蒸馏(ATESD)通过可学习的策略控制器和折扣学习进度奖励动态调整教师向学生展示参考推理的比例，从而提升LLM推理能力。在数学基准上的实验表明，该方法相较于现有自蒸馏和强化学习基线均取得了一致改进。