标签
一篇教育性的博客文章，解释了知识蒸馏的工作原理，涵盖教师-学生框架、软标签、温度和蒸馏损失，并附有实际示例。
本文研究了当温度缩放——一种依赖独热标签的常见事后校准方法——应用于反映真实人类分歧的软标签分布训练模型时所产生的校准差距。跨视觉和语言领域的实验表明，基于硬标签校准的温度缩放始终逊于直接软标签校准，且在语言任务中差距更大，凸显了在安全关键部署中的风险。
提出一种无标签数据的元学习方法，通过将预训练模型的软标签分配给未标注数据来生成任务，避免了计算昂贵的模型逆推。与最先进的DFML方法相比，实现了高达104倍的加速和8.4%-36.4%的准确率提升。
本文发现，HateXplain中42.6%的标注者分歧集中在仇恨/冒犯边界，表明多数票压制了少数价值观，导致模型对有争议的输入输出错误但高度自信的预测。