论文页面 - Ask to Distill：学习为同策略蒸馏合成数据

来源：https://huggingface.co/papers/2610.27450 作者：

,

,

,

,

,

,

,

,

,

摘要

Ask-to-Distill 通过优化合成问题，在无需正确答案的情况下，最大化同策略蒸馏中的教师-学生分布监督，从而提升推理、编程和智能体任务的表现\。

同策略蒸馏 (https://huggingface.co/papers?q=On-policy%20distillation)(OPD) 仅需少量训练问题便能取得成功，这启发我们将问题视为分布知识迁移的载体\。如何在无法获取正确答案的情况下，评估一个新生成的问题对蒸馏是否有价值，并学习生成更好的问题？我们提出 Ask-to-Distill (https://huggingface.co/papers?q=Ask-to-Distill)(\method)，这一框架将合成问题 (https://huggingface.co/papers?q=synthetic%20questions) 视为分布诱导器，并优化它们沿学生生成轨迹所引出的教师监督\。我们使用问题价值的分布代理指标 (https://huggingface.co/papers?q=distributional%20surrogate) 来优化一个以学生模型初始化的合成器，该指标由一对冻结的学生--教师模型计算得出，无需参考答案、正确性奖励或针对每个候选问题更新学生模型\。奖励结合了教师--学生之间的分歧、教师在学生候选支持集上的概率质量，以及长度和多样性控制\。生成的问题经过筛选和去重，构成仅含提示的问题库，用于标准 OPD\。在数学推理、代码生成和智能体任务中，与未经优化的学生生成提示和经过 KL 筛选的真实问题相比，我们的方法提高了平均表现，并缩小了与教师模型之间的性能差距；在所评估的设置中，其表现达到或超过使用真实问题库的 OPD\。信号分析进一步表明，经过优化的问题能够从更短的学生回答中引出更密集的监督和更多的总信号，支持将所引出的分布监督 (https://huggingface.co/papers?q=distributional%20supervision) 作为合成蒸馏数据的优化目标\。我们的代码、数据和模型已公开发布于 https://github.com/GasolSun36/Ask_to_Distill\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.27450)查看 PDF (https://arxiv.org/pdf/2610.27450)GitHub2 (https://github.com/GasolSun36/Ask_to_Distill)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.27450)

在你的智能体中获取这篇论文：

hf papers read 2610\.27450

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.27450，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.27450，即可从此页面链接到该数据集\。

引用这篇论文的 Spaces0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.27450，即可从此页面链接到该 Space\。

包含这篇论文的合集1