teacher-student

提示级蒸馏（PLD）从教师模型中提取推理模式，转化为结构化指令用于学生模型的系统提示，在不增加微调开销的情况下提升推理任务性能。

本文提出了一种原则性的离线推理蒸馏框架，能够校正教师-学生分布漂移，在数学基准测试上提升推理准确性，且无需在线推理。

本文介绍了TESSY，一种用于微调推理模型的教师-学生协作框架。该框架通过将生成过程解耦为能力令牌（来自教师）和风格令牌（来自学生），生成符合在线策略的SFT数据，从而解决了使用离线策略教师数据时的灾难性遗忘问题。

OpenAI 提出了师生课程学习（TSCL）框架，其中一个教师算法自动为学生选择子任务以学习复杂任务，基于学习曲线斜率进行优化并防止遗忘。该方法在十进制加法和 Minecraft 导航任务上与手工设计的课程相当或更优，使得之前无法通过直接训练实现的解决方案成为可能。