通过合成自蒸馏实现小型模型的持续后训练

Hugging Face Daily Papers 论文
continual-learning self-distillation small-models post-training knowledge-retention fine-tuning

摘要

该论文提出Synthetic Self-Distillation (SynthSelf)，通过借助同家族稍大的对齐模型进行合成自蒸馏，实现小型模型的持续后训练，在保持原有分布的同时兼顾新能力获取与知识保留，并在多个基准上超越现有方法。

持续后训练面临着能力获取与知识保留的双重挑战：模型必须在学习新能力的同时保留已有知识。虽然自蒸馏微调（Self-Distillation Fine-Tuning, SDFT）借助带有上下文示范的自监督来缓解这一问题，但它依赖于强大的上下文学习和指令遵循能力。因此，SDFT 在更小的模型上会失效，而这些模型恰恰是低延迟、设备端使用场景的关键。为了在更小的规模上实现持续学习，我们首先定位了失败的根本原因。我们证明，能力获取不佳和灾难性遗忘与后训练模型的分布偏移呈线性相关，这揭示了分布内学习的必要性。为此，我们提出了合成自蒸馏（Synthetic Self-Distillation, SynthSelf），它模仿 SDFT 的分布内重写，但将该任务外包给一个规模略大、同家族的对齐模型来完成。结合离策略监督和拒绝采样，SynthSelf 为小模型提供了所需的高质量监督，同时不破坏其原始分布。涵盖 4 个能力获取数据集（含一个混合数据集）和 14 个知识保留基准的评估表明，SynthSelf 在 3 种小模型规模上均持续优于 6 种现有方法（包括离策略和在线策略蒸馏）。大量进一步分析证实，SynthSelf 为实现高效的小模型持续学习铺平了道路。
查看原文
查看缓存全文

缓存时间: 2026/10/12 06:54

论文页面 - 通过合成自蒸馏实现小模型的持续后训练

来源: https://huggingface.co/papers/2610.13113

摘要

持续后训练面临着获取与保持的双重挑战：模型必须在学习新能力的同时保留已有知识。虽然自蒸馏微调（Self-Distillation Fine-Tuning, SDFT）利用上下文内的自我监督演示来缓解这一问题，但它依赖于强大的上下文学习和指令遵循能力。因此，SDFT 在更小的模型上表现不佳，而这些小模型对于低延迟、设备端使用至关重要。为了在更小的模型规模上实现持续学习，我们首先识别了失败的根本原因。我们发现，习得性能下降和灾难性遗忘与后训练模型的分布偏移呈线性相关，揭示了分布内学习的必要性。因此，我们提出了合成自蒸馏（Synthetic Self-Distillation, SynthSelf），通过将 SDFT 的分布内重写任务外包给一个规模略大、同系列的对齐器来模仿其机制。结合离策略监督和拒绝采样，该方法在不破坏小模型原始分布的前提下，提供了高质量的监督信号。在涵盖 4 个习得数据集（包括一个混合数据集）和 14 个保持基准测试的评测中，SynthSelf 在 3 个小模型规模上持续优于 6 种方法（包括离策略和在策略蒸馏）。大量进一步分析证实，SynthSelf 为实现有效的小模型持续学习铺平了道路。

查看 arXiv 页面 (https://arxiv.org/abs/2610.13113)　查看 PDF (https://arxiv.org/pdf/2610.13113)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.13113)

在你的代理中获取此论文：

hf papers read 2610.13113

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

暂无模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.13113 即可从此页面关联。

引用此论文的数据集：0

暂无数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.13113 即可从此页面关联。

引用此论文的 Space：0

暂无 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13113 即可从此页面关联。

包含此论文的合集：0

暂无合集包含此论文。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面关联。

相似文章

自蒸馏实现持续学习 [pdf]

Hacker News Top

介绍了自蒸馏微调（SDFT），一种通过示范实现同策略学习的方法，能够在不发生灾难性遗忘的情况下实现持续学习，性能优于监督微调。

# MIMESIS：将用户模拟器作为训练环境来学习交互式智能体

Hugging Face Daily Papers

This paper presents MIMESIS, a specialized user simulator (a 9B model) trained on real user conversations with explicit reasoning supervision, surpassing frontier models in behavioral fidelity. The study further freezes this simulator and uses it for multi-turn reinforcement learning to train agents, and proposes the **Coached On-Policy Self-Distillation (CSD)** method, achieving stronger generalization performance across nine unseen user simulators.