标签
本文介绍了Open-MOPD，这是一个通过平衡token级预算来诊断和修复多教师在策略蒸馏中能力不平衡的框架，通过动态分配和奖励刷新，将头空间恢复率从35.6%提高到83.4%。
MOPD提出了一种用于大语言模型后训练的多教师在线策略蒸馏范式，通过将特定领域的RL教师模型蒸馏到学生模型（使用其自身的采样数据），实现了多领域能力的高效整合。该方案优于Mix-RL和Cascade RL等现有方法，并已在工业级模型中部署。