论文页面 - MixSD: 混合上下文自蒸馏用于知识注入

来源：https://huggingface.co/papers/2605.16865

摘要

MixSD 通过使监督信号与模型的原生生成分布对齐来解决语言模型中的知识注入问题，从而减少微调过程中的灾难性遗忘。

监督微调（SFT）广泛用于向语言模型注入新知识，但往往会损害预训练能力，如推理和通用领域性能。我们认为这种遗忘的产生是因为来自人类或外部系统的微调目标与模型的自回归分布存在偏差，迫使优化器去模仿低概率的 token 序列。为了解决这个问题，我们提出了 MixSD，一种无需外部教师、基于分布对齐的简单知识注入方法。MixSD 并非在固定目标上训练，而是动态构建监督信号：它混合基础模型自身两种条件生成下的 token——一种是包含注入事实上下文的专家条件，另一种是反映模型原始先验的朴素条件。由此产生的监督序列保留了事实学习信号，同时更贴近基础模型的分布。我们在两个合成语料库上评估 MixSD，这两个语料库是为在受控环境下研究事实回忆和算术函数习得而构建的，此外还在开放域事实问答和知识编辑的成熟基准上进行评估。在多个模型规模和设置下，与 SFT 和在线自蒸馏基线相比，MixSD 始终能实现更好的记忆-保留权衡：在保持近完美的训练准确率的同时，最多可保留基础模型 100% 的 hold-out 能力，而标准 SFT 仅能保留 1%。我们进一步证明，MixSD 在基础模型下产生的监督目标具有显著更低的负对数似然，并减少了沿 Fisher 敏感参数方向的有害移动。这些结果表明，使监督信号与模型的原生生成分布对齐是一种简单而有效的知识注入原则，能够缓解灾难性遗忘。

查看 arXiv 页面 (https://arxiv.org/abs/2605.16865)
查看 PDF (https://arxiv.org/pdf/2605.16865)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.16865)

在你的代理中获取这篇论文：

hf papers read 2605\.16865

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2605.16865 以从本页链接它。

引用本文的数据集0

没有数据集链接这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2605.16865 以从本页链接它。

引用本文的 Space0

没有 Space 链接这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2605.16865 以从本页链接它。

包含本文的收藏0

没有收藏包含这篇论文

将此论文添加到一个收藏 (https://huggingface.co/new-collection) 中以从本页链接它。