论文页面 - 密集监督，稀疏更新：论在线策略蒸馏的稀疏性与几何结构

来源：https://huggingface.co/papers/2606.13657 发表于 6月11日

·

提交者https://huggingface.co/hug-ye

Yu (https://huggingface.co/hug-ye)于6月15日

摘要

在线策略蒸馏展现出稀疏的参数更新，这些更新分布在各层之间并倾向于FFN组件，同时保持了与标准密集参数重写不同的几何特性。

在线策略蒸馏（On-policy distillation, OPD）最近成为一种重要的后训练方法，因为它结合了两个理想的要素：在线策略的学生轨迹和密集的教师监督，然而这种混合方式如何改变模型的参数仍不清楚。通过多个语言和视觉-语言模型对及用例的分析，我们得出了两个主要发现。关于稀疏性：OPD风格的更新幅度小且坐标稀疏。它们分布在各层之间，通常以FFN为主。这种稀疏结构在操作上很有用：仅训练发现的子网络就能恢复与完整OPD几乎相同的性能。然而，在我们的优化器消融实验中，稀疏诱导的SGD优化器表现不如AdamW，这很可能是因为密集的教师监督保留了异质的逐坐标梯度尺度，而AdamW的自适应缩放仍然有用。关于几何结构：这些更新在数值上是满秩的，但在谱上集中；它们大多位于源权重的奇异主子空间之外，并且不成比例地落在源权重接近零的坐标上。这些发现表明，密集的教师监督并不会将OPD变成普通的密集参数重写；相反，OPD保留了在线策略后训练的重要几何特征。

查看arXiv页面 (https://arxiv.org/abs/2606.13657)查看PDF (https://arxiv.org/pdf/2606.13657)GitHub3 (https://github.com/SydCS/OPD-Param-Analysis)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.13657)

在你的智能体中获取这篇论文：

hf papers read 2606.13657

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型关联此论文

在模型README.md中引用arxiv.org/abs/2606.13657即可从此页面链接。

引用该论文的数据集0

没有数据集关联此论文

在数据集README.md中引用arxiv.org/abs/2606.13657即可从此页面链接。

引用该论文的Spaces0

没有Space关联此论文

在Space README.md中引用arxiv.org/abs/2606.13657即可从此页面链接。

包含该论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)即可从此页面链接。