标签
本文介绍了PromptNCE，一种使用大语言模型和对比提示来零样本估计点互信息的方法，在三个数据集上实现了与人类标注真实值的高度相关性。
提出反自蒸馏（AntiSD），该方法逆转自蒸馏中的知识转移方向，以提高数学推理的效率和准确率，在4B到30B参数的多个模型上，用2-10倍更少的训练步数达到GRPO基线的准确率，最终准确率最高提升11.5个百分点。