论文页面 - 更小的模型，更好的负样本：偏好蒸馏的扩展性

来源: https://huggingface.co/papers/2609.38987

作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

偏好蒸馏通常将教师的响应视为偏好项，将学生模型自己生成的响应视为负样本（reject）。这一做法基于两个假设：模型自身生成的失败案例是信息量最大的负样本，且负样本必须来自至少与学生模型同等规模的模型，因此在大规模场景下生成成本极高。我们发现这两个假设都不成立：在 7B 到 72B 的学生模型上，较小的冻结模型以更低的推理开销生成负样本，却在代码生成与数学推理任务中训练出了更强的学生模型——无论是在序列级知识蒸馏之前还是之后都是如此。为了解释这一结果，我们在一个线性化特征模型中推导出了 Direct Preference Optimization（DPO）的有限视野效用上界。该上界刻画了有利的负样本分布，并由此引出三种干预手段。第一，将较小规模模型与学生规模模型生成的负样本混合使用可以提升性能，且较小模型所占比例越高效果越好。第二，将负样本重新分配给其他提示词、或打乱其代码 token 的顺序，其效果仍然优于长度匹配的乱码文本，这表明任务结构对负样本的效用有贡献。第三，在参考策略下选择似然值更低的候选响应，当高似然候选所提供的对比信息不足时，能够改善净迁移效果。无论候选来源如何，低似然选择的效果都优于高似然选择。这些结果表明，有效的负样本应保留任务结构，同时尽量减少与参考策略的耦合，而较小的冻结模型即可低成本地提供这类负样本。

查看 arXiv 页面 查看 PDF 加入合集

在你的智能体中获取这篇论文：

hf papers read 2609.38987

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

没有模型关联到本论文

在模型的 README.md 中引用 arxiv.org/abs/2609.38987，即可将其链接到本页面。

引用本论文的数据集 0

没有数据集关联到本论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.38987，即可将其链接到本页面。

引用本论文的 Spaces 0

没有 Space 关联到本论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.38987，即可将其链接到本页面。

包含本论文的合集 0

没有合集包含本论文

将本论文添加到合集，即可将其链接到本页面。