论文页面 - UniSD：面向大语言模型的统一自蒸馏框架

来源：https://huggingface.co/papers/2605.06597

摘要

自蒸馏框架 UniSD 通过整合监督可靠性、表征对齐和训练稳定性的机制，系统地解决了自回归语言模型适应过程中的挑战。

自蒸馏（https://huggingface.co/papers?q=Self-distillation）（SD）为实现大语言模型（LLM）的适应提供了一条有前景的路径，且无需依赖更强的外部教师模型。然而，在自回归 LLM（https://huggingface.co/papers?q=autoregressive%20LLMs）中进行 SD 仍然具有挑战性，因为自生成的轨迹是自由形式的，正确性取决于任务，且看似合理的推理过程仍可能提供不稳定或不可靠的监督。现有方法主要考察孤立的设计选择，导致其有效性、角色及相互作用尚不明确。在本文中，我们提出了 UniSD（https://huggingface.co/papers?q=UniSD），一个用于系统研究自蒸馏（https://huggingface.co/papers?q=self-distillation）的统一框架。UniSD（https://huggingface.co/papers?q=UniSD）集成了互补机制，以解决监督可靠性、表征对齐和训练稳定性问题，包括多教师共识（https://huggingface.co/papers?q=multi-teacher%20agreement）、EMA 教师稳定化（https://huggingface.co/papers?q=EMA%20teacher%20stabilization）、token 级对比学习（https://huggingface.co/papers?q=token-level%20contrastive%20learning）、特征匹配（https://huggingface.co/papers?q=feature%20matching）和散度裁剪（https://huggingface.co/papers?q=divergence%20clipping）。在来自三个模型家族的六个基准测试和六个模型上，UniSD（https://huggingface.co/papers?q=UniSD）揭示了自蒸馏（https://huggingface.co/papers?q=self-distillation）在何时优于静态模仿、哪些组件推动了性能提升，以及这些组件在不同任务中如何相互作用。基于这些见解，我们构建了 UniSDfull（https://huggingface.co/papers?q=UniSDfull），这是一个集成互补组件的流水线，实现了最强的整体性能，相比基础模型提升了 +5.4 分，相比最强基线提升了 +2.8 分。广泛的评估突出了自蒸馏（https://huggingface.co/papers?q=self-distillation）作为一种实用且可调控的方法，可在没有更强外部教师的情况下高效地适应 LLM。

查看 arXiv 页面（https://arxiv.org/abs/2605.06597）查看 PDF（https://arxiv.org/pdf/2605.06597）添加到集合（https://huggingface.co/login?next=%2Fpapers%2F2605.06597）

在你的 agent 中获取此论文：

hf papers read 2605\.06597

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.06597 即可从此页面链接。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.06597 即可从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2605.06597 即可从此页面链接。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合（https://huggingface.co/new-collection）即可从此页面链接。