理解与改进指令微调中的噪声嵌入技术

# 理解并改进指令微调中的噪声嵌入技术
来源：https://arxiv.org/html/2605.23171

###### 摘要

近期指令微调领域的进展通过在嵌入中注入噪声取得了突破，其中NEFTune (Jain et al., 2024) 使用均匀噪声树立了基准。尽管NEFTune的经验发现表明均匀噪声优于高斯噪声，但背后的原因仍不明确。本文旨在通过提供全面的理论和实证分析来阐明这一点，表明这些噪声类型之间的性能相当。此外，我们引入了一种新的语言模型微调方法，该方法在嵌入中使用对称噪声。此方法旨在通过更严格地调控函数的局部曲率来增强模型功能，展现出优于当前方法 NEFTune 的性能。在对 Alpaca 数据集微调 LLaMA-2-7B 模型时，标准技术取得了 29.79% 的 AlpacaEval 得分。然而，我们的方法 SymNoise 通过使用对称噪声嵌入，将该得分显著提升至 69.04%。这比最先进的方法 NEFTune (64.69%) 提升了 6.7%。此外，在多种模型和更强的基线指令数据集（如 Evol-Instruct、ShareGPT、OpenPlatypus）上进行测试时，SymNoise 始终优于 NEFTune。当前的研究文献，包括 NEFTune，已强调了在语言模型微调中更深入研究基于噪声策略的重要性。我们的方法 SymNoise 是朝着这一方向迈出的又一重要步伐，显示了相对于现有最先进方法的显著改进。

## 1 引言

对于大型语言模型 (Vaswani et al., 2017; Devlin et al., 2019; Radford et al., 2019; Raffel et al., 2020; Zhang et al., 2022; Touvron et al., 2023b; Zhao et al., 2023) 而言，其有效执行特定指令的能力至关重要 (Wang et al., 2022; Ouyang et al., 2022; Brown et al., 2020; Chung et al., 2022)。这些模型通常首先在大量未过滤的网络数据上进行训练，然后使用一个更小、精选的指令数据集进行更聚焦的微调阶段。以指令为中心的微调阶段是释放和控制 LLM 全部能力的基础。这些模型的实际价值主要取决于我们如何有效地利用这些简洁的指令数据集来达到最佳性能。

近年来，噪声注入 (Nukrai et al., 2022; Zang et al., 2021; Akbiyik, 2020) 已成为计算机视觉研究的焦点，产生了增强模型鲁棒性和准确性的方法。该策略最近被应用于微调大型语言模型 (LLM)，例如 NEFTune 方法 (Jain et al., 2024)，它应用均匀随机噪声来改善模型在不同数据集上的性能。尽管 NEFTune 的效果超越了传统的微调技术，但其成功背后的原因，特别是相对于常用的高斯噪声而言，尚未完全明了。我们的工作通过提供详细的理论和实证分析来揭示这一点，表明当适当缩放时，不同噪声类型的结果相当。此外，我们引入了一种新颖的噪声注入方法，不仅有助于更直观的理解，而且取得了更优越的实证结果，以相当大的幅度超越了 NEFTune 及其他已有的微调方法。

具体而言，我们的目标是正则化训练过程中所学函数的曲率。曲率正则化已在计算机视觉 (Moosavi-Dezfooli et al., 2019; Lee & Park, 2023)、图嵌入 (Pei et al., 2020) 和深度神经网络 (Huh, 2020) 等领域得到应用。具体来说，我们旨在确保当输入被噪声轻微修改时，函数的响应变化平缓。用更专业的术语来说，我们的目标是使梯度在由微小量改变的输入的邻域内趋近于零。这比仅仅要求 Hessian 矩阵或梯度值较小是一个更严格的条件。然而，考虑到计算效率，我们选择避免直接计算梯度或 Hessian 矩阵。相反，我们采用了这个严格的条件，正如我们在实际基准数据集上的实验所证明的，该条件在实践中是有效的。

在本文中，我们揭示了对称噪声微调 (SymNoise)，这是一种新的技术，利用基于对称伯努利分布的噪声，在微调阶段应用于训练数据的嵌入向量。每个噪声分量以相等的概率 1/2 生成取值为 -1 和 1。这种方法显著提升了指令微调的结果，常常带来显著的增益，同时无需额外的计算或数据资源。在保持简洁性的同时，SymNoise 对下游对话输出质量产生了深远的影响。我们表明，当像 LLaMA-2-7B (Touvron et al., 2023c) 这样的大型语言模型使用 SymNoise 进行微调时，其在 AlpacaEval (Dubois et al., 2023) 上的性能从 29.79% 提升到 69.04%——增加了大约 39.25 个百分点。

重要的是，与现有的 NEFTune 方法（使用随机均匀噪声）相比，SymNoise 展现出优越的性能优势，以大约 6.7% 的比例超越 NEFTune。因此，SymNoise 不仅代表了相对于传统微调方法的一项有价值进步，而且为 LLM 微调建立了效率和有效性的新基准。

贡献。在我们的综合研究中，我们进行了详细的理论和实证检验，证明高斯和均匀随机噪声在适当调整缩放因子时表现出功能等价性，从而在真实世界数据集上产生相似的性能。这一见解具有重大意义，特别是考虑到 NEFTune 方法的创造者（一种采用均匀噪声的领先方法）已经公开承认他们对该方法优越性能的理解存在空白，尤其是与广泛研究的高斯噪声相比。通过建立与高斯噪声的联系，我们的研究有助于揭开 NEFTune 方法的神秘面纱。此外，我们引入了一种创新的噪声注入方法，其能力超越了 NEFTune 和现有的替代方案。因此，我们的贡献推动了该领域持续探索的势头。

表 1：使用 LLaMA-2 并在不同数据集上训练时，AlpacaEval 对 Text-Davinci-003 的胜率。SymNoise 在所有数据集上均显示出整体改善，并在所有数据集上优于 NEFTune。高斯分布的噪声缩放因子除以 √3，使得两种方法的性能相似。表 2：在 LLaMA-2、LLaMA-1 和 OPT 上，使用和不使用 NEFTune、SymNoise 在不同数据集上的 AlpacaEval 胜率。SymNoise 在这些数据集和模型上显示出改进的性能。

## 2 背景与相关工作

在大型语言模型 (LLM) 指令微调不断发展的背景下，早期的努力如 FLAN 和 T0 标志着跨任务泛化的开始 (Sanh et al., 2021; Wei et al., 2021)。这些模型涉及编码器-解码器语言架构，在数千个 NLP 任务的广泛范围内进行了微调。这一进展在 Chung 等人 (2022) 和 Xu 等人 (2022) 的研究中有详细描述，展示了 LLM 对多种标准 NLP 任务的适应性。

沿着这条轨迹，OpenAI 的 InstructGPT (Ouyang et al., 2022) 成为了一种开创性模型，能够以显著的效率处理开放式问题。该模型是 GPT-3 (Brown et al., 2020) 的一个迭代版本，融入了来自人类反馈的强化学习 (RLHF)，从而促进了像 ChatGPT (OpenAI, 2022) 这样的先进模型的开发。特别是 ChatGPT，因其生成的文本比 InstructGPT 更连贯、更长而获得了广泛关注。

在这些发展的基础上，Wang 等人 (2022) 引入了 Self-Instruct 方法，利用 InstructGPT 生成指令对，以进一步将 LLaMA 等基础模型微调为专门的变体，如 Alpaca (Taori et al., 2023)。与此同时，如 Taori 等人 (2023) 和 Xu 等人 (2023) 所讨论的，朝向蒸馏模型的趋势导致了多样化数据集的创建。这些数据集，包括 Xu 等人 (2023) 和 Lee 等人 (2023) 的工作，专注于精炼特定的模型能力，如 STEM 问题回答和逻辑推理。另一个值得注意的进展是 Chen 等人 (2023) 的 AlpaGasus，它采用了一种基于 GPT-4 评估的质量过滤机制来增强模型性能。在另一种方法中，如 Chiang 等人 (2023) 所述，ShareGPT 是通过众包来自 ChatGPT 的真实用户交互而开发的。

在将噪声融入模型训练的背景下，Zhu 等人 (2019) 在 FreeLB 方法中的开创性工作证明了对抗扰动在提升 MLM 模型性能方面的有效性。该方法涉及将计算出的高斯扰动引入嵌入中，并对其进行优化以最大程度地影响模型性能。类似的策略后来被应用于各个领域，如图像描述 (Nukrai et al., 2022)、点云处理 (Zang et al., 2021)、图 (Kong et al., 2022) 和隐私机制 (Dwork et al., 2014)。曲率正则化已在计算机视觉 (Moosavi-Dezfooli et al., 2019; Lee & Park, 2023)、图嵌入 (Pei et al., 2020) 和深度神经网络 (Huh, 2020) 等领域得到应用。基于伯努利分布的噪声，与高斯或均匀噪声不同，已得到使用，如 Spall (1998) 所述。在这种方法中，每个结果，要么是 -1 要么是 1，被赋予相等的概率 1/2。

## 3 关于均匀噪声与高斯噪声的相似性

在本节中，我们研究了用于嵌入扰动时均匀噪声和高斯噪声之间的相似性。虽然这些噪声类型在低维中产生不同的统计特性，但随着维度的增加，它们的行为变得越来越相似。这种现象在嵌入通常位于高维空间的大型语言模型 (LLM) 中尤其相关。

###### 引理 1。

(均匀分布的 L2 范数) 对于 P = (x_1, x_2, ..., x_d) ∼ U^d([-1,1])，期望的 L2 范数为：

E[‖P‖₂] = √(d/3). (1)

证明见附录 B.0.1。

###### 引理 2。

(高斯分布的 L2 范数) 对于 P = (x_1, x_2, ..., x_d) ∼ N^d(0,1)，期望的 L2 范数为：

E[‖P‖₂] = √d. (2)

证明见附录 B.0.2。

参见标题 (a) 高斯/均匀平均 L2 范数比率
参见标题 (b) 伯努利/均匀平均 L2 范数比率

图 1：高斯噪声和伯努利噪声相对于均匀噪声的平均 L2 范数比率随维度的变化。根据引理 1 和引理 2 可以明显看出，高斯分布的期望噪声是均匀分布的 √3 倍。因此，为了在比较时使噪声尺度相等，高斯分布的噪声缩放因子应调整 √3 倍。

如图 1(a) 所示，随着维度的增加，高斯分布和均匀分布之间的平均噪声（通过 L2 范数量化）比率呈现出一种独特的模式。值得注意的是，高斯噪声的相对影响放大，高阶维时接近均匀噪声所致影响的 √3 倍。关于在固定维度下改变样本大小的影响的深入探索和分析，详见附录 A.2。

此外，在真实世界数据集上的比较结果见表 1，其中所有条件保持相同，仅是将均匀分布替换为高斯分布。在此上下文中，高斯分布的噪声缩放因子根据上述讨论调整了 √3 倍，可以注意到此后两种方法的性能相当。更详细的消融研究见第 5.5.2 节。

## 4 提出的方法：SymNoise

在理想情况下，我们的目标是实施曲率正则化，这是一种在计算机视觉 (Moosavi-Dezfooli et al., 2019; Lee & Park, 2023)、图嵌入 (Pei et al., 2020) 和深度神经网络 (Huh, 2020) 等领域流行的技术。然而，由于关联的