用于领域泛化数据集蒸馏的频谱梯度手术

arXiv:2605.18836v1 公告类型：新 摘要：数据集蒸馏（DD）合成一个紧凑的合成数据集，保留完整数据集的训练效用。然而，其标准假设认为测试数据与训练数据同分布，这一假设在实践中很少成立。一个直接的扩展——将事后领域泛化（DG）技术应用于蒸馏数据——并不合适，因为现有的DG方法依赖于真实数据集的自然多样性，而紧凑的合成数据集天生缺乏这种多样性，同时还会带来大量的增强开销，这与数据集蒸馏的效率目标相冲突。为解决这一限制，我们引入了领域泛化数据集蒸馏（DGDD），这是一个新的问题设定，明确针对蒸馏数据集的分布外（OOD）泛化。我们通过广泛采用的基于分布匹配（DM）的DD基线来研究这个问题。我们将DM的OOD脆弱性归因于压缩合成集中类判别信息和领域特定信息的纠缠，并提出了频谱梯度手术（SGS）来解耦两者。SGS的关键洞察是，频谱域中领域梯度的跨域一致性揭示了哪些梯度分量在源领域间共享——因此是类判别的——哪些是领域特定的。基于这一观察，SGS用两个互补梯度增强标准DM更新：一个强化跨域共享分量，另一个明确促进蒸馏数据集内的多样性。在多种规模基准上的广泛实验表明，SGS显著提高了OOD泛化，同时与现有DM方法保持即插即用的兼容性。