论文页面 - 带教师演化的在策略自蒸馏

来源: https://huggingface.co/papers/2610.38637

摘要

教师演化自蒸馏（Teacher-Evolution Self-Distillation）通过奖励引导的教师优化以及对不可靠样本的自适应降权，持续提升自我教学的可靠性，从而改进在策略自蒸馏。

在策略自蒸馏 (https://huggingface.co/papers?q=On-Policy%20Self-Distillation)（OPSD）将学生模型的 token 级分布与由特权上下文 (https://huggingface.co/papers?q=privileged%20context) 提示的自教师 (https://huggingface.co/papers?q=self-teacher) 的分布对齐，已成为缓解序列级后训练 (https://huggingface.co/papers?q=sequence-level%20post-training) 范式中奖励稀疏 (https://huggingface.co/papers?q=reward%20sparsity) 问题的一个有前景的方向。然而，OPSD 往往无法在训练过程中持续获得性能提升。在本文中，我们发现模型自身教学能力的局限是造成这一现象的根本原因——它会在某些样本上产生不可靠的指导。为解决该问题，我们提出教师演化自蒸馏 (https://huggingface.co/papers?q=Teacher-Evolution%20Self-Distillation)（TESD），使自教师 (https://huggingface.co/papers?q=self-teacher) 生成 rollout (https://huggingface.co/papers?q=rollouts)，并基于任务正确性和上下文独立性获得环境反馈 (https://huggingface.co/papers?q=environmental%20feedback)。首先，利用这些奖励作为训练目标，我们进行面向教师的优化 (https://huggingface.co/papers?q=teacher-oriented%20optimization)，在蒸馏过程中持续增强模型的自我教学能力。其次，通过这些奖励估计教师指导的可靠性，我们采用自适应面向学生的优化 (https://huggingface.co/papers?q=adaptive%20student-oriented%20optimization) 对指导不可靠的样本进行降权。在多个数据集和模型规模上的大量实验表明，TESD 始终优于代表性的 token 级和序列级方法，凸显了在 OPSD 中提升监督质量的必要性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.38637)　查看 PDF (https://arxiv.org/pdf/2610.38637)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.38637)

在你的 agent 中获取该论文：

hf papers read 2610\.38637

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.38637 即可将其链接到本页面。

引用该论文的数据集0

没有数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.38637 即可将其链接到本页面。

引用该论文的 Space0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.38637 即可将其链接到本页面。

包含该论文的合集0

没有合集包含此论文。

将该论文加入合集 (https://huggingface.co/new-collection) 即可将其链接到本页面。