半监督噪声自适应：从噪声域迁移知识

Hugging Face Daily Papers 论文
transfer-learning semi-supervised-learning noise-adaptation domain-adaptation generalization

摘要

本文介绍了半监督噪声自适应（SSNA），一种新颖的框架，它利用合成噪声域（例如高斯分布）作为替代源域，以提高半监督学习设置中的泛化能力。所提出的噪声自适应框架（NAF）建立了一个泛化边界，并展示了改进的目标域性能。

迁移学习旨在通过从源域迁移知识来促进目标域的学习。源域通常包含语义上有意义的样本（*e.g.*，图像），以促进有效的知识迁移。然而，最近的一项研究表明，在只有一小部分目标样本被标记而大部分未标记的半监督设置中，由简单分布（例如高斯分布）构建的噪声域可以作为替代源域。基于这一令人惊讶的观察，我们提出了一个称为*Semi-Supervised Noise Adaptation*（SSNA）的新问题，旨在利用合成噪声域来提高目标域的泛化能力。为了解决这个问题，我们首先建立了一个泛化边界，描述了噪声域对泛化的影响，并在此基础上提出了噪声自适应框架（NAF）。大量实验表明，NAF有效地利用噪声域收紧目标域的泛化边界，从而提高了性能。代码可在 https://github.com/AIResearch-Group/SSNA 获取。
查看原文

相似文章

阈下学习是非语义蒸馏

arXiv cs.AI

本文研究了语言模型中的阈下学习，表明偏见可以通过看似随机的合成数据从教师模型传递到学生模型。作者发现，向权重添加高斯噪声会增加迁移程度，并且学生不仅继承了语义偏见，还继承了所使用干预的类型，这对训练安全和数据审计具有重要意义。

理解与改进指令微调中的噪声嵌入技术

arXiv cs.LG

本文分析了指令微调中的噪声嵌入技术，解释了为何均匀噪声优于高斯噪声，并引入了SymNoise，一种对称噪声方法，在AlpacaEval上将LLaMA-2-7B的性能显著提升至超过NEFTune。