soft-label

提出CIST方法，在知识蒸馏中为教师和学生分配独立的样本自适应温度，生成一致性信息丰富的软标签，并放宽严格的logit尺度匹配。在视觉和语言任务上的实验表明，相比标准KD具有一致的改进。