在策略蒸馏中近确定性结构化输出的外推悬崖

Hugging Face Daily Papers 论文
on-policy-distillation structured-outputs reward-extrapolation llm-training format-preservation clip-safety knowledge-distillation

摘要

本文识别了在策略蒸馏中结合奖励外推的一个安全阈值，超过该阈值后，结构化输出任务会丢失格式保持能力。实证验证表明，在该阈值以下运行，1.7B学生模型能够在Amazon Fashion任务上以五分之一的参数量匹配8B SFT基线。

在策略蒸馏（OPD）广泛用于大语言模型的后训练。当使用奖励外推系数 lambda > 1 进行推动时，学生模型可以在领域上超越教师模型，但超过阈值 lambda* 后，同一训练步就会违反结构化输出任务的输出契约。在单位置伯努利简化中，我们推导出一个闭式基相对裁剪安全阈值 lambda*(p,b,c)，该阈值由三个可测量量决定：教师模型模态概率、热启动质量和重要性采样裁剪强度。超过 lambda* 后，外推不动点离开裁剪安全区域，训练从格式保持转变为格式崩溃。我们将该规则扩展到校准的K元列表级JSON任务，其中单个绑定等价类主导输出契约，并且SFT保留解析余量。在Amazon Fashion上，三个预注册测试——细粒度悬崖区间、预算扩展测试和小裁剪交叉预测——均落在其锁定预测窗口内，其中小裁剪值与网格分辨率以下的闭式预测相匹配。在略低于 lambda* 运行时，ListOPD使1.7B Qwen3学生模型在域内与8B SFT基线达到对等，而参数量仅为后者的五分之一。性能提升主要来自格式遵循度：解析输出的NDCG@1在各lambda下保持平稳，而解析有效性在预测边界处急剧变化。悬崖诊断独立于评分标准，而对等声称使用Gemini评分的标准，并继承了该评估器的暴露度。
查看原文
查看缓存全文

缓存时间: 2026/05/14 04:17

Paper page - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs

来源: https://huggingface.co/papers/2605.08737 发布于5月9日

·

提交者https://huggingface.co/XINLI1997

XinLi (https://huggingface.co/XINLI1997)于5月14日

摘要

带有奖励外推的同策略蒸馏存在一个安全阈值，超过该阈值后结构化输出任务将丧失格式保持能力。实证验证表明，在该阈值以下运行时，在减少参数量的情况下仍能达到性能持平。

同策略蒸馏 (https://huggingface.co/papers?q=On-policy%20distillation) (OPD) 广泛应用于LLM的后训练阶段。当加入奖励外推系数 (https://huggingface.co/papers?q=reward-extrapolation%20coefficient) lambda > 1 时，学生模型可以在领域内超越教师模型，但一旦超过某个阈值 lambda*，同一个步骤会在结构化输出任务 (https://huggingface.co/papers?q=structured-output%20tasks) 上违反输出合约。通过单位置伯努利简化 (https://huggingface.co/papers?q=Bernoulli%20reduction) 模型，我们推导出一个基于基值的闭合形式剪切安全阈值 (https://huggingface.co/papers?q=clip-safety%20threshold) lambda*(p,b,c)，它由三个可测量量决定：教师模态概率、热启动质量和重要性采样剪切强度。当超过 lambda* 时，外推后的不动点 (https://huggingface.co/papers?q=fixed%20point) 离开剪切安全区域，训练从格式保持 (https://huggingface.co/papers?q=format-preserving) 转变为格式坍塌 (https://huggingface.co/papers?q=format-collapsing)。我们将该规则扩展到经过校准的 K 元列表式 JSON (https://huggingface.co/papers?q=K-ary%20listwise%20JSON) 任务，其中单个绑定等价类主导了输出合约，且 SFT (https://huggingface.co/papers?q=SFT) 留有解析余量。在Amazon Fashion上，三个预先注册的测试——细粒度悬崖区间、预算扩展测试和小剪切交叉预测——均落在其锁定预测窗口内，其中小剪切值在网格分辨率以下与闭合形式预测相匹配。当恰好运行在 lambda* 下方时，ListOPD 使得1.7B Qwen3学生模型在领域内与使用八分之一参数量的8B-SFT (https://huggingface.co/papers?q=SFT) 基线持平。这一提升主要归因于格式遵守度：解析输出的 NDCG@1 (https://huggingface.co/papers?q=NDCG%401) 在 lambda 范围内保持平稳，而解析有效性 (https://huggingface.co/papers?q=parse%20validity) 则在预测边界处发生剧烈变化。悬崖诊断与评分标准无关，而持平性声明使用了Gemini评分的标准，并继承了该评估器的暴露风险。

查看arXiv页面 (https://arxiv.org/abs/2605.08737)查看PDF (https://arxiv.org/pdf/2605.08737)项目页面 (https://lixin.ai/ListOPD)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.08737)

在你的agent中获取这篇论文：

hf papers read 2605\.08737

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.08737 即可从本页链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.08737 即可从本页链接。

引用此论文的Space0

没有Space链接到此论文

在Space README.md 中引用 arxiv.org/abs/2605.08737 即可从本页链接。

包含此论文的收藏集0

没有收藏集包含此论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接。

相似文章

同策略蒸馏中的增益与崩溃：一个强化学习视角

Hugging Face Daily Papers

本文从强化学习视角分析了用于语言模型后训练的同策略蒸馏（OPD），解释了OPD既能提升性能又可能崩溃为重复生成的原因。研究发现，在训练中屏蔽不健康响应以及采用SFT初始化可以缓解崩溃，从而将关注点从教师的生成质量转移到其评估学生轨迹（rollout）的能力上。

理解离策略与同策略蒸馏：两类不同训练目标的故事

arXiv cs.LG

这篇 UCLA 论文从理论上分析了同策略蒸馏（OPD）与离策略/SFT 式蒸馏的区别，展示了前向 KL 与反向 KL 目标如何分别将多个教师模型聚合为算术混合与几何混合，建立了对数级遗憾界，并解释了 OPD 的优势与脆弱性（例如对低概率教师的敏感性以及错误前缀偏差）。

OPMD：超越输出监督的在线策略机制蒸馏

Hugging Face Daily Papers

本文提出了在线策略机制蒸馏（OPMD），在在线策略蒸馏过程中迁移与学生模型架构兼容的教师中间计算，在多种师生组合中均超越了仅基于输出监督的蒸馏基线。

LastOPD：抑制潜在在策略蒸馏中的崩溃

arXiv cs.LG

论文提出LastOPD方法，该方法通过仅在短交叉过渡期的最后一层应用潜在信号，防止潜在在策略蒸馏中的崩溃，进而在MATH-500等基准测试中提升性能。