论文页 - 1%的Token可能已足够：论基于策略蒸馏中的梯度估计

来源：https://huggingface.co/papers/2609.24432

摘要

稀疏的基于策略蒸馏（OPD）将教师监督分配给学生生成轨迹中的一小部分Token子集。然而，当有用的教师指导通过采样的下一个Token来估计其梯度时，可能会产生带有噪声的更新。我们在信息几何框架下研究了固定前缀下的这一估计问题，并提出了一种基于信号-噪声分解的信息-效率比（IER）。IER表征了在最优标量基线下相对的梯度估计误差。通过候选集近似，可以基于IER及其与现有有用性分数的组合进行Token选择，同时保留采样的反向KL训练目标。在数学和医学推理任务上，添加IER在多种设置下提升了现有选择器的性能，当Token预算仅为0.1%~1%时，稀疏配置匹配甚至超越了不进行Token选择的完整OPD。这些结果支持在分配稀疏监督时，需同时考虑有用性和梯度估计可靠性。我们的代码已开源：https://github.com/BruceSheng1202/IER-OPD。

查看arXiv页面 (https://arxiv.org/abs/2609.24432) 查看PDF (https://arxiv.org/pdf/2609.24432) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.24432)

在您的智能体中获取此论文：

hf papers read 2609.24432

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 (0)

没有模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2609.24432 以从此页链接。

引用此论文的数据集 (0)

没有数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2609.24432 以从此页链接。

引用此论文的Spaces (0)

没有Space链接此论文

在Space的README.md中引用 arxiv.org/abs/2609.24432 以从此页链接。

包含此论文的收藏夹 (0)

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页链接。