标签
ROSS 引入了对历史展开的选择性监督，以改进语言模型后训练，从而在数学、代码和软件工程任务中提升性能，无需额外的策略展开。
该论文指出，Direct-On-Policy Distillation（Direct-OPD）的 token 级 log-ratio 奖励在教师检查点之间的差异消失时仍可能保持不变。基于这一发现，作者提出 S²D-OPD 方法，利用教师-参考模型的 JSD 在低差异状态上屏蔽监督信号。在 1.7B 到 8B 参数的多种模型构成的 8 个教师-学生配置中，S²D-OPD 无需额外前向传播，即可在 7 个配置中提升 AIME 和 HMMT 基准上的留出集准确率。
提出将反事实可恢复性作为在线策略蒸馏中基于结果的决策变量，表明基于可恢复性进行选择性监督的方法在 AIME 和 GPQA 基准测试上优于仅依赖散度的方法。
本文介绍CHERRY，一套用于计算高效语言模型的技术，包括选择性令牌监督、通过循环展开的深度压缩以及混合压缩专家，在韩语基础模型上取得了显著的效率提升。