标签
本文发现，较小的冻结模型能够为偏好蒸馏生成比模型自生成回复更优的负样本（拒绝样本），在降低推理成本的同时，训练出在代码生成与数学推理任务上更强的 7B–72B 学生模型。作者在线性化特征模型下推导了 DPO 的有限时域效用界，用以解释为何任务结构与低似然候选选择能够提升拒绝样本的质量。
MINT 引入了最小选择偏好蒸馏，通过基于最弱目标对候选进行排名来平衡语言智能体对齐中的多个目标，显著减少不平衡。
介绍了隐式偏好蒸馏（Implicit Preference Distillation），一种从版本控制合并历史中提取偏好信号的方法，以低成本将AI代理与机构实践对齐。