论文页面 - 反馈对齐在自蒸馏中的作用

来源：https://huggingface.co/papers/2606.11173

在语言模型中引入额外上下文（例如针对先前尝试的反馈）通常能改进其回答。自蒸馏通过在缺失上下文时保留这种改进来训练模型。该方法通过匹配模型在两种设置下的输出分布来实现：作为学生的模型仅看到问题，而作为自教师的模型则同时看到上下文。因此，模型学到什么取决于自教师接收到什么样的上下文，然而这一上下文的設計至今仍缺乏深入探究。

本文研究自蒸馏中的上下文设计，具体方法是通过冻结的评判器对求解器进行训练并接收反馈。我们对比了三种条件：（i）二元奖励（GRPO）；（ii）参考解法；（iii）与求解器推理轨迹对齐的逐步批评。

基于逐步对齐的批评取得了最大的提升，在Avg@12指标上分别比GRPO高出16.11分、比基于参考解法的自蒸馏高出5.27分。逐词元优势分析揭示了原因：逐步对齐的反馈仅针对推理失败的词元施加影响，而保留正确的行为。相比之下，基于参考解法的条件作用会在每一步迫使模型改变其行为（即使是正确的步骤），因为另一种推导在表述和方法上必然存在差异。这表明反馈与求解器推理过程的结构对齐是自蒸馏有效性的关键驱动因素。