无损抗蒸馏采样

arXiv cs.LG 论文

摘要

本文提出无损抗蒸馏采样(LADS),一种新颖的采样方案,通过关联不同账户的响应来对抗多账户蒸馏,同时为单个良性用户保留精确的统计保真度。理论分析和实验表明,LADS会降低蒸馏学生在图像、数学和代码生成上的性能。

arXiv:2605.18829v1 公告类型:新 摘要:前沿商业生成模型面临来自蒸馏的日益严重的威胁,即蒸馏者以极低成本收集生成的响应并训练自己的竞争模型。现有防御要么依赖修改模型输出,从而牺牲良性用户的响应质量,要么依赖行为检测方法,而这些方法可以通过跨多个账户分布查询轻易规避。在这项工作中,我们提出无损抗蒸馏采样(LADS),一种专门设计用于对抗多账户蒸馏同时为良性用户维持无损体验的新型采样方案。具体而言,LADS从由查询的语义内容以及用户查询模型的次数决定的私有种子中衍生出每次生成的随机性。通过构造,每个良性用户在每次访问时都会收到从原始模型中独立采样的响应,因此不会经历任何失真。相反,对于蒸馏者,当不同账户的查询落在同一语义桶中时,它们共享潜在随机性。结果,收集的数据变得相关,可能降低样本多样性并损害泛化能力。利用一致收敛理论,我们证明相对于标准独立同分布采样,LADS在无条件生成和条件生成设置中均可证明地降低蒸馏者泛化差距的收敛速率。在图像生成、数学推理和代码生成上的实验证实,LADS在保留单个用户精确统计保真度的同时,显著降低蒸馏学生的性能。
查看原文

相似文章

ADS-C:面向分类的反蒸馏采样方法

arXiv cs.LG

本文提出ADS-C,一种面向分类任务的反蒸馏防御方法。它可在证明保留top-1精度的同时,将学生模型性能降低高达29.7个百分点,且对教师模型实现零效用成本。

自蒸馏作为大语言模型的性能恢复机制:对抗压缩和灾难性遗忘

arXiv cs.CL

本文介绍了自蒸馏微调(SDFT)作为大语言模型性能恢复机制,用于解决灾难性遗忘、量化和剪枝导致的性能下降问题。作者利用中心核对齐(CKA)提供了理论证明,表明自蒸馏能够使学生模型的高维流形与教师模型的最优结构对齐,从而有效恢复丧失的能力。

使用分布对齐对抗性蒸馏估计黑盒LLM的不确定性

arXiv cs.CL

本文提出了一种分布对齐对抗性蒸馏(DisAAD)方法,该方法使用一个轻量级代理模型,仅以原始模型1%的规模来估计黑盒大语言模型的不确定性,实现了无需内部参数或多次采样的可靠量化。

利用在线蒸馏缓解长度缩放代价

Hugging Face Daily Papers

本文提出了长度缩放代价(Length-Scaling Tax,LST)的概念——即在强化学习后训练之后,已解决查询上出现的多余响应长度——并提出长度自蒸馏(Length Self-Distillation,LSD)。该方法将已解决的提示词路由到在线策略蒸馏中,以在线策略的指数移动平均(EMA)作为教师模型,在显著抑制冗长输出的同时保持甚至提升准确率。