contrastive-supervision

Qwen Tongyi Lab提出RLCSD以解决同策略自蒸馏中的风格漂移问题，该问题中学习信号集中在风格标记上，而非任务关键推理标记。他们的方法使用对比监督来聚焦于任务相关标记，在推理基准测试中取得了相较先前方法一致的改进。