标签
本文提出了一种用于知识蒸馏中Transformed Teacher Matching的样本级自适应温度缩放方法，通过局部最小化教师和学生分布之间的KL散度，在图像分类基准上提升性能。
本文提出元人格锚定与过滤温度缩放（Filtered Temperature Scaling）来降低LLM中的语义趋同，在INFINITY-CHAT数据集上使用小于20B参数的开源权重模型，将成对余弦相似度从约0.85降至约0.65。
本文研究了当温度缩放——一种依赖独热标签的常见事后校准方法——应用于反映真实人类分歧的软标签分布训练模型时所产生的校准差距。跨视觉和语言领域的实验表明，基于硬标签校准的温度缩放始终逊于直接软标签校准，且在语言任务中差距更大，凸显了在安全关键部署中的风险。