标签
D³-MOPD是一个用于多教师蒸馏的零开销调度器，基于每个领域的反向KL轨迹动态调整领域采样比例，从而提高收敛效率并缩小大部分学生与教师之间的性能差距。
This paper introduces AdaMTP, an adaptive training paradigm for multi-token prediction that dynamically aligns prediction horizons with sequence predictability using entropy-based segmentation, consistently outperforming standard MTP on math, code, and general benchmarks across three LLM backbones.
LLMZero利用LLM智能体通过树搜索在训练轨迹中进行搜索，发现用于强化学习后训练的自适应多参数过渡策略，该策略在多种任务中优于固定调度和网格搜索。
自适应教师暴露自蒸馏(ATESD)通过可学习的策略控制器和折扣学习进度奖励动态调整教师向学生展示参考推理的比例，从而提升LLM推理能力。在数学基准上的实验表明，该方法相较于现有自蒸馏和强化学习基线均取得了一致改进。