论文页面 - 基于评分标准的在线策略蒸馏

来源：https://huggingface.co/papers/2605.07396

摘要

基于评分标准的在线策略蒸馏相比传统基于 logits 的方法，展现了更优的样本效率，同时保持了对黑盒场景的兼容性。

在线策略蒸馏（https://huggingface.co/papers?q=On-policy%20distillation）（OPD）是一种强大的模型对齐范式，然而其对教师 logits（https://huggingface.co/papers?q=teacher%20logits）的依赖限制了其在白盒场景中的应用。我们认为，结构化的语义评分标准（https://huggingface.co/papers?q=structured%20semantic%20rubrics）可以作为教师 logits（https://huggingface.co/papers?q=teacher%20logits）的可扩展替代方案，从而仅利用教师生成的响应即可实现在线策略蒸馏。为证明这一点，我们提出了 ROPD，一个简单但基础性的基于评分标准的在线策略蒸馏框架。具体而言，ROPD 从师生对比（https://huggingface.co/papers?q=teacher-student%20contrasts）中推导出特定于提示的评分标准（https://huggingface.co/papers?q=prompt-specific%20rubrics），然后利用这些评分标准对学生 rollout 进行评分，以进行在线策略优化。实证结果表明，在大多数场景下，ROPD 均优于先进的基于 logits 的在线策略蒸馏方法，并在样本效率（https://huggingface.co/papers?q=sample%20efficiency）上实现了高达 10 倍的提升。这些结果将基于评分标准的在线策略蒸馏确立为一种灵活且兼容黑盒的替代方案，可替代主流的基于 logits 的在线策略蒸馏，为在专有和开源 LLM 之间进行可扩展蒸馏（https://huggingface.co/papers?q=scalable%20distillation）提供了一个简单但强大的基线。代码已开源在 https://github.com/Peregrine123/ROPD_official。

查看 arXiv 页面（https://arxiv.org/abs/2605.07396）查看 PDF（https://arxiv.org/pdf/2605.07396）GitHub（https://github.com/Peregrine123/ROPD_official）加入收藏集（https://huggingface.co/login?next=%2Fpapers%2F2605.07396）

在你的 agent 中获取这篇论文：

hf papers read 2605.07396

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2605.07396 以从此页面链接。

引用本文的数据集 0

暂无数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.07396 以从此页面链接。

引用本文的 Space 0

暂无 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2605.07396 以从此页面链接。

包含本文的收藏集 0

暂无收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）以从此页面链接。