data-free-distillation

论文提出 Consistent Distribution Matching (CDMD)，通过在单一学生网络内统一样本生成与速度估计，实现无需辅助 fake-score 网络的数据自由扩散蒸馏，在 ImageNet 256×256 上以 1 NFE 达到 2.04 FID，优于 DMD2 等基线，并给出基于 Wasserstein 收敛的理论分析。

本文研究了将边界搜索知识蒸馏（CAKE）应用于瓶颈式生成自编码器时的失效情况，表明共享的潜在流形会产生梯度冲突，阻碍对比样本的有效合成。相反，本文提出了一种简单的噪声前向传播基线方法。