neftune

本文研究了使用 LoRA 和 NEFTune 对 DeepSeek-R1-8B 进行指令微调用于金融命名实体识别，取得了 0.912 的微平均 F1 值，并优于多个基线模型。

本文分析了指令微调中的噪声嵌入技术，解释了为何均匀噪声优于高斯噪声，并引入了SymNoise，一种对称噪声方法，在AlpacaEval上将LLaMA-2-7B的性能显著提升至超过NEFTune。