论文页面 - 我们真的需要KL散度来对大型语言模型进行在线策略蒸馏吗？

来源：https://huggingface.co/papers/2609.33791 作者： , , , , , , , , , , , , ,

摘要

自知识蒸馏出现以来，KL散度一直是蒸馏的标准损失函数。最近，在线策略蒸馏作为一种高效的LLM后训练范式而兴起。作为一种蒸馏方法，OPD自然继承了KL散度作为其标准损失。然而，在这项工作中，我们发现KL散度对于OPD可能并非必需。我们表明，仅保留更新方向就足以实现有效的OPD。只要更新方向是朝着教师模型的，OPD就能发挥作用。更准确地说，关键不在于每个token的方向，而在于教师模型和学生模型强烈不一致的那一小部分token的方向。我们首先表明，仅仅为教师模型概率高于学生模型概率的token分配+1奖励，为低于的token分配-1奖励（这仅鼓励向教师模型更新），几乎能重现与使用反向KL的OPD相同的训练模式。我们进一步证明，只有那一小部分师生分歧较大的token的方向至关重要，只要它们的更新方向朝向教师模型，训练就能有效进行，即使其他token被拉离教师模型。作为这些发现的一个应用，我们引入了共识多教师在线策略蒸馏来改进多教师在线策略蒸馏。与将每个样本路由到单个教师并可能导致跨领域能力冲突的MOPD不同，C-MOPD让每个样本都接受所有教师的监督。实验表明，在数学和代码基准测试中，C-MOPD一致优于MOPD。我们的代码已发布在 https://github.com/LeapLabTHU/KL-Free-OPD。 查看 arXiv 页面 (https://arxiv.org/abs/2609.33791)查看 PDF (https://arxiv.org/pdf/2609.33791)GitHub0 (https://github.com/LeapLabTHU/KL-Free-OPD)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.33791) 通过您的代理获取此论文： hf papers read 2609.33791 没有最新的 CLI？curl \-LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型 0

无模型链接此论文 在模型 README.md 中引用 arxiv.org/abs/2609.33791 以从此页面链接。

引用此论文的数据集 0

无数据集链接此论文 在数据集 README.md 中引用 arxiv.org/abs/2609.33791 以从此页面链接。

引用此论文的 Space 0

无 Space 链接此论文 在 Space README.md 中引用 arxiv.org/abs/2609.33791 以从此页面链接。

包含此论文的集合 0

无集合包含此论文 将此论文添加到一个集合 (https://huggingface.co/new-collection)以从此页面链接。