小数据，大噪声：面向鲁棒参数高效微调的对抗训练
摘要
本文提出SDBN，一种将对抗训练与参数高效微调相结合的框架，旨在提升基础模型在噪声和有限数据下的鲁棒性，并在低资源场景中展现出显著改进。
arXiv:2606.10610v1 Announce Type: new
摘要：参数高效微调（PEFT）已成为将基础模型适配到下游NLP任务的关键技术。然而，当前的PEFT方法往往难以应对噪声鲁棒性以及有限训练数据下的性能下降问题。我们提出SDBN（小数据大噪声）统一框架，将对抗训练引入PEFT——这一结合在PEFT设置中尽管具有互补优势，却鲜有研究——以增强模型鲁棒性和泛化能力，性能优于其他方法。我们还引入了该方法的两种变体，使用离散不确定性集：SDBN-h，通过枚举字符级编辑并利用梯度选择最差情况变体；以及SDBN-p，在生成任务中使用LLM生成的变体进行鲁棒优化。跨多个基准的实验表明，在低资源设置以及词级和字符级扰动下均有显著改进。该框架解决了对抗训练与参数高效适配这一较少探索的交叉领域，不引入额外参数或仅带来适度计算开销，使PEFT部署在数据稀缺与语言变异性共存的现实场景中更加可靠。
查看缓存全文
缓存时间: 2026/06/10 06:11
小数据，大噪声：用于鲁棒参数高效微调的对抗训练 来源：https://arxiv.org/html/2606.10610 Eitan Cohen 巴伊兰大学 以色列，拉马特甘 [email protected] Idan Simai 巴伊兰大学 以色列，拉马特甘 [email protected] Uri Shaham 巴伊兰大学 以色列，拉马特甘 [email protected] ###### 摘要 参数高效微调（PEFT）已成为将基础模型适配到下游NLP任务的关键技术。然而，当前的PEFT方法在面对噪声鲁棒性和有限训练数据下的性能退化时往往难以胜任。我们提出SDBN（小数据大噪声），一个将对抗训练引入PEFT的统一框架——尽管两者具有互补优势，这一组合在PEFT设置中仍较少被研究——从而增强模型鲁棒性和泛化能力，性能超越其他替代方法。我们还引入了该方法的两种变体，它们使用离散不确定集合：SDBN-h，通过对字符级编辑进行枚举并利用梯度选择最坏情况变体；以及SDBN-p，在生成任务中使用大语言模型生成的变体进行鲁棒优化。在多个基准上的实验表明，该方法在低资源设置及词级和字符级污染下均取得了显著改进。该框架探索了对抗训练与参数高效适配之间较少被关注的交叉点，且无需引入额外参数或仅需适度的计算开销，使PEFT部署在数据稀缺和语言变异性常共存的真实场景中更加可靠。 # 小数据，大噪声：用于鲁棒参数高效微调的对抗训练 Eitan Cohen 巴伊兰大学 以色列，拉马特甘 [email protected] Idan Simai 巴伊兰大学 以色列，拉马特甘 [email protected] Uri Shaham 巴伊兰大学 以色列，拉马特甘 [email protected] ## 1 引言 参数高效微调（PEFT）最近已成为将大语言模型（LLMs）适配到下游任务的一种有前景的策略，同时显著降低了计算和存储需求。值得关注的PEFT方法包括Adapter（Houlsby等人，2019（https://arxiv.org/html/2606.10610#bib.bib10））、BitFit（Ben-Zaken等人，2021（https://arxiv.org/html/2606.10610#bib.bib9））以及低秩适配（LoRA）（Hu等人，2021（https://arxiv.org/html/2606.10610#bib.bib1））。特别是LoRA引起了广泛关注，推动了多个变体的开发（Ren等人，2024（https://arxiv.org/html/2606.10610#bib.bib2）；Zhang等人，2023（https://arxiv.org/html/2606.10610#bib.bib3）；Dettmers等人，2023（https://arxiv.org/html/2606.10610#bib.bib4）），进一步扩展了其适用性。 参见图注 **图 1：PEFT方法在有限训练数据上的性能退化。** 三种常见PEFT方法（Adapter、BitFit和LoRA）在带有*词交换*噪声的测试集上的准确率，同时减少清洁Banking77训练数据语料库的规模（x轴，样本数）。所有方法在可用训练数据减少时，其噪声测试准确率均显著下降，在某些情况下，当训练样本低于1000时，准确率损失超过50%。这一趋势突显了当前PEFT模型在低资源设置下对真实文本扰动的脆弱性。 尽管这些技术显著降低了微调基础模型所需的计算开销，但当面对领域偏移和噪声数据时，它们经常表现不佳（见图1（https://arxiv.org/html/2606.10610#S1.F1））——这是实际NLP部署中常见的情况。真实文本通常包含诸如拼写错误、格式不一致和方言变体等缺陷，这些都会显著降低模型性能。此外，尽管PEFT方法在大规模训练语料上展现了令人印象深刻的结果，但当训练样本有限时，其有效性可能会显著下降——这在医疗数据、航空航天、已灭绝语言等领域中是常见场景。值得注意的是，Ben-Zaken等人（2021（https://arxiv.org/html/2606.10610#bib.bib9））表明，在小数据集上，PEFT方法可以比全微调更高效，这激发了对专门针对数据有限设置的PEFT方法的重点研究。这些挑战——对噪声和领域偏移的鲁棒性，以及在低资源设置下的较差性能——在当前PEFT方法论中仍未得到充分探索。 受这些挑战的驱动，我们提出SDBN（小数据大噪声）¹¹¹代码：https://github.com/shaham-lab/SDBN，一个将对抗训练原则整合到PEFT中的统一框架，以增强鲁棒性和泛化能力，包括对破坏分词*字符级*污染（除词级噪声外）的鲁棒性。尽管对抗训练已在各种场景中被广泛采用（Zhu等人，2020（https://arxiv.org/html/2606.10610#bib.bib7）；Jiang等人，2019（https://arxiv.org/html/2606.10610#bib.bib23）；Ji等人，2024（https://arxiv.org/html/2606.10610#bib.bib5））——主要用于防御攻击——但其在改进低资源、噪声设置下的PEFT方法方面的应用仍未被探索。 所提出的SDBN框架在噪声条件（词级和字符级）和有限训练数据场景下均能提升模型性能。除了连续嵌入空间扰动外，我们还引入了两种构建离散不确定集合的补充策略：SDBN-h，利用梯度引导的字符级编辑来处理破坏分词的噪声；以及SDBN-p，利用大语言模型生成的对抗变体来获得更丰富的语义扰动，特别适用于生成任务。这些离散不确定集合实例取代了范数球不确定集合在其无法覆盖的领域——即破坏分词的字符编辑（SDBN-h）和面向语义、生成的变体（SDBN-p）。 与大多数PEFT方法不同——它们通常不明确针对数据受限场景或处理领域偏移——SDBN在多个基准数据集上取得了显著改进。值得注意的是，该框架不仅对已知扰动具有鲁棒性，也对部署期间可能出现的未预料的领域偏移具有鲁棒性，而无需领域特定的适配数据。重要的是，SDBN保持了现有PEFT方法的参数效率，不增加可训练参数或额外GPU内存开销，为在资源受限和噪声多的真实环境中部署鲁棒语言模型提供了实用解决方案。 我们的贡献如下：首先，我们提出SDBN，一个将对抗训练引入PEFT的框架——这一组合在PEFT设置中研究较少——从而改善低资源设置下的鲁棒性。其次，我们引入了两种利用离散不确定集合的方法变体：基于字符级扰动的SDBN-h，以及基于大语言模型生成扰动的SDBN-p。第三，我们在多个基准上展示了在词级和字符级污染下显著的鲁棒性提升，且无需额外参数。 ## 2 相关工作 #### PEFT方法。 PEFT方法的最新进展——如LoRA、Adapter、BitFit、Prompt（Liu等人，2021（https://arxiv.org/html/2606.10610#bib.bib21））和Prefix（Li and Liang，2021（https://arxiv.org/html/2606.10610#bib.bib22））——通过仅微调有限数量的参数，促进了预训练模型的高效适配。特别是，LoRA采用低秩更新，Adapter在每个层中集成可训练的瓶颈模块，而BitFit将修改限制在偏置参数上。值得注意的是，最近的评估表明，与全微调相比，LoRA等PEFT方法实际上对文本噪声和对抗扰动表现出更强的鲁棒性（More，2025（https://arxiv.org/html/2606.10610#bib.bib45））。然而，即使具有这种固有优势，这些模型在数据稀缺场景下仍然对现实污染脆弱，这为SDBN中引入的有针对性的鲁棒优化机制提供了坚实基础。 尽管这些方法减少了参数数量，但大多数标准PEFT实现最初并未将输入噪声鲁棒性（Kim等人，2024（https://arxiv.org/html/2606.10610#bib.bib11））或数据受限场景作为主要优化目标。我们的工作探索如何将对抗训练技术与现有PEFT方法结合，以解决这些局限性，特别是在低资源设置下。 #### 鲁棒优化。 鲁棒优化被广泛认为是增强模型在噪声数据和领域偏移下稳定性的有效策略。Shaham等人（2018（https://arxiv.org/html/2606.10610#bib.bib8））、Madry等人（2019（https://arxiv.org/html/2606.10610#bib.bib12））证明，鲁棒优化可以显著提升模型在噪声数据和下游任务上的泛化能力，使用神经网络；然而，他们工作中讨论的鲁棒优化方法直接将噪声注入原始输入数据，需要针对NLP领域进行特定适配，并且未在PEFT框架内进行评估。Kim等人（2024（https://arxiv.org/html/2606.10610#bib.bib11））将鲁棒优化应用于处理噪声标签，但未考虑输入噪声数据。此外，两种方法均未关注数据受限条件下的优化。相比之下，本工作探索的对抗训练与PEFT框架的集成同时解决了噪声输入和小数据集的问题。 #### 对抗训练。 使用对抗训练是实现鲁棒优化的一种方式。FreeLB（Zhu等人，2020（https://arxiv.org/html/2606.10610#bib.bib7））、SMART（Jiang等人，2019（https://arxiv.org/html/2606.10610#bib.bib23））和VAT（Miyato等人，2021（https://arxiv.org/html/2606.10610#bib.bib24））将对抗训练应用于LLMs，主要侧重于提高泛化能力；然而，它们并未整合PEFT方法论，这可能导致在某些场景下全微调不切实际。诸如LoFT（Fu等人，2024（https://arxiv.org/html/2606.10610#bib.bib6））和AdvLoRA（Ji等人，2024（https://arxiv.org/html/2606.10610#bib.bib5））等近期方法将对抗训练与LoRA应用于视觉任务（AdvLoRA主要用于视觉-语言任务的视觉组件），其在NLP领域的适用性尚未被探索。值得注意的是，对抗训练与PEFT方法在小数据集和噪声文本输入场景下的有效性在很大程度上仍未得到研究。本工作考察了如何将对抗训练应用于NLP中的PEFT范式，并展示了其相对于传统PEFT基线的增强性能，特别是在低资源设置下。 #### 低资源下的NLP中PEFT。 PEFT现在是适配大语言模型到下游任务的事实标准策略，但其在噪声或有限数据下的行为仍未得到充分研究。NEFtune（Jain等人，2023（https://arxiv.org/html/2606.10610#bib.bib19））表明，在指令微调期间向令牌嵌入中注入*均匀随机*噪声（NEFTune）可显著改善*平均情况*性能，主要侧重于增强模型泛化能力，但未分析最坏情况扰动或数据稀缺场景。相比之下，本工作将*对抗*训练应用于PEFT，目标不同：在嵌入空间中添加对抗扰动，并优化适配器以最小化由此产生的最坏情况损失。这种有针对性的方法在小、噪声数据集场景下——正是PEFT方法最实用但往往在缺乏额外鲁棒性机制时难以应对的条件——产生了对输入噪声和领域偏移的鲁棒性。 #### 通过数据加噪增强鲁棒性。 多项工作表明，即使是小的字符编辑（例如，缺失字母）也可能导致NLP模型性能下降，因为此类更改往往会破坏分词并将输入推入嵌入空间的远处。EDA（Wei and Zou，2019（https://arxiv.org/html/2606.10610#bib.bib36））提出了简单的数据增强编辑操作，显示了在小数据集上的改进；然而，这些扰动是随机应用的，而非由梯度引导。HotFlip（Ebrahimi等人，2018（https://arxiv.org/html/2606.10610#bib.bib34））引入了梯度引导的字符级编辑，但作为攻击工具。WildNLP（Rychalska等人，2019（https://arxiv.org/html/2606.10610#bib.bib32））和Aepli and Sennrich（2022（https://arxiv.org/html/2606.10610#bib.bib35））探索了噪声增强训练以提高对字符污染的鲁棒性，但未利用对抗信号识别最坏情况扰动。相比之下，我们的工作将字符级扰动适配到对抗训练框架中，利用梯度引导最大化其在低资源PEFT设置下提高鲁棒性的有效性。 #### 离散不确定集合。 先前的一些工作在NLP中使用了离散扰动集合，但其设置与我们的有显著不同。有些专注于通过验证风格流水线（如随机掩蔽或区间边界传播）实现认证鲁棒性，例如（Zeng等人，2023（https://arxiv.org/html/2606.10610#bib.bib40））、（Huang等人，2019（https://arxiv.org/html/2606.10610#bib.bib41））和（Jia等人，2019（https://arxiv.org/html/2606.10610#bib.bib42））。这些方法针对有界替换攻击的形式化保证，而非PEFT的训练时鲁棒优化，并且自然无法扩展到大型生成模型或实际的PEFT训练循环中。其他工作，如（Zhou等人，2021（https://arxiv.org/html/2606.10610#bib.bib43）），提出了针对同义词替换攻击的推理时防御，而非对抗训练。在精神上最接近的是（Ivgi and Berant，2021（https://arxiv.org/html/2606.10610#bib.bib44）），它研究了分类的离散对抗训练；然而，它假设全微调，侧重于攻击风格的替换而非实际的小数据噪声，并且未考虑PEFT或生成任务。相比之下，我们的工作将PEFT作为适配机制进行研究，在统一的训练时鲁棒优化框架内使用离散不确定集合，并在低资源噪声设置（包括生成任务）下跨多种PEFT方法对其进行评估。 ## 3 鲁棒优化背景 鲁棒优化（Ben-Tal等人，2009（https://arxiv.org/html/2606.10610#bib.bib14））是优化理论中旨在提高模型在输入不确定性下稳定性的一个领域。考虑一个具有参数θ和数据集D（包含输入-标签对(x,y)，其中x∈ℝᵈ且y∈{1,...,K}）的模型。对于每个输入x（在我们的上下文中——作为一个句子），我们定义一个*不确定集合* Sₓ⊆ℝᵈ：它反映了输入中的不确定性水平——由对x进行小的、保持语义的编辑（例如，令牌删除、交换或字符翻转）产生的句子集合；这些变体正好捕捉了模型对其分类不确定的输入。给定一个损失函数L，鲁棒优化目标为：min_θ E_{(x,y)~D} [ max_{x+δ∈Sₓ} L(x+δ;θ,y) ]。当固定θ和y并查看
相似文章
通过小型语言模型实现AI民主化：面向本地部署的结构化基准测试与参数高效微调
本文在结构化基准上评估了九个开放权重的小型语言模型（参数量135M至3B），并证明参数高效微调显著提升了准确率，使其在结构化小众工作负载的本地部署中具备可行性。
Super-Tuning: 从激活感知剪枝到稀疏微调
本文介绍了 Super 和 Supra 两种稀疏参数高效微调方法，它们重用来自剪枝的显著性信号（如 Wanda 分数）来选择可训练的支持集，并与 LoRA 结合，以更少的内存和计算在算术任务上取得了高准确率。
大型语言模型的信息论对抗训练
本文介绍了 WARDEN，一种用于大型语言模型的分布鲁棒对抗训练框架。该框架利用 f-散度动态调整对抗样本的权重，在显著降低攻击成功率的同时保持了计算效率。
通过参数噪声实现更好的探索
OpenAI 提出了参数噪声技术，该方法向神经网络策略参数添加自适应噪声，而不是向动作空间添加噪声，使得智能体能够比传统动作噪声方法快得多地学习任务。该方法在 HalfCheetah 上实现了 2 倍的学习速度提升，代表了进化策略与 TRPO、DDPG 等深度强化学习方法之间的平衡点。
可检测性边缘的后训练：一种博弈论驱动的微调方法
本文介绍了一种博弈论的微调语言模型方法，该方法优化了奖励与偏离参考策略之间的权衡，并提供了一种设置KL正则化系数的原则性方法。