论文页面 - On-Policy Delta Distillation

来源：https://huggingface.co/papers/2607.15161

摘要

On-policy distillation 是一种替代性的强化学习后训练方法，通过从教师模型提供 token 级别的监督信号，缓解了奖励模型带来的约束。尽管 on-policy distillation 已在多种场景下得到研究和应用，但其基础设计仍未被充分探索。本文引入一种新的蒸馏奖励信号，称为 delta 信号，而非直接模仿教师模型的输出分布。Delta 信号定义为教师模型与其基础模型（在针对推理能力进行指令微调之前）之间的差异。因此，它捕捉了由推理微调引起的变化，并为迁移推理能力提供了更直接的信号。通过大量实证证据，我们证明 delta 信号显著提升了 on-policy distillation 的效果，并将这种新蒸馏方法称为 On-Policy Delta Distillation（OPD²）。在数学、科学和代码推理基准上的实验表明，OPD² 持续优于传统的 on-policy distillation，使得推理大语言模型（reasoning LLM）只需较短的后训练周期即可获得强性能。代码将在 https://github.com/naver-ai/opd2 提供

查看 arXiv 页面 (https://arxiv.org/abs/2607.15161) 查看 PDF (https://arxiv.org/pdf/2607.15161) GitHub1 (https://github.com/naver-ai/opd2) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.15161)

在您的 agent 中获取这篇论文：

hf papers read 2607.15161

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型

无

没有模型链接到本论文

请在模型 README.md 中引用 arxiv.org/abs/2607.15161 以从本页面链接。

引用本论文的数据集

无

没有数据集链接到本论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.15161 以从本页面链接。

引用本论文的 Spaces

无

没有 Space 链接到本论文

请在 Space README.md 中引用 arxiv.org/abs/2607.15161 以从本页面链接。

包含本论文的收藏

无

没有收藏包含本论文

请将本论文添加到一个收藏 (https://huggingface.co/new-collection) 中以从本页面链接。