论文页面 - DOPD: Dual On-policy Distillation

来源: https://huggingface.co/papers/2606.30626 发布于 6 月 29 日

#2 本日最佳论文 (https://huggingface.co/papers/date/2026-07-01) 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

DOPD 通过基于优势差距和概率在教师策略与学生策略之间动态路由词元级监督，解决了同策略蒸馏中的特权幻觉问题，提升了大模型及视觉-语言模型的能力迁移效果。

同策略蒸馏 (https://huggingface.co/papers?q=On-policy%20distillation) (OPD) 通过利用密集词元级信号 (https://huggingface.co/papers?q=token-level%20signals) 监督学生采样的轨迹，实现了更优的能力迁移。为了提供高质量的监督源并由此提升蒸馏的性能边界，一个直观的方向是向教师或学生自身注入特权信息 (https://huggingface.co/papers?q=privileged%20information)。然而，这种额外输入会引发一种我们称之为特权幻觉 (https://huggingface.co/papers?q=privilege%20illusion) 的潜在失败模式：该模式混淆了学生真正应当弥合的可迁移能力差距，与只能被模仿而无法真正复现的信息不对称差距。词元级监督固有的非均匀性进一步放大了这一问题——仅有一小部分词元携带着关键的能力承载信号。为此，我们提出 DOPD，一种优势感知的双重蒸馏 (https://huggingface.co/papers?q=advantage-aware%20dual%20distillation) 范式，它基于优势差距和相对概率，在特权教师策略与特权学生策略之间动态路由词元级监督。每个词元会从教师或学生自身获得不同强度、目标和策略的监督，从而在传递可信能力的同时接收辅助信号，以缓解特权幻觉 (https://huggingface.co/papers?q=privilege%20illusion)。在大语言模型 (LLM) 和视觉-语言模型 (VLM) 场景下的大量实验表明，DOPD 持续优于普通 OPD 及其他对比方法。在稳定性、鲁棒性、持续学习及分布外任务上的进一步结果验证了其优越性。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30626)查看 PDF (https://arxiv.org/pdf/2606.30626)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30626)

在你的智能体中获取此论文:

hf papers read 2606.30626

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

未找到关联本论文的模型

在模型 README.md 中引用 arxiv.org/abs/2606.30626 即可从本页链接。

引用本论文的数据集0

未找到关联本论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.30626 即可从本页链接。

引用本论文的 Space0

未找到关联本论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.30626 即可从本页链接。

包含本论文的收藏集0

未找到包含本论文的收藏集

将本论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接。