归一化低秩适应

Hugging Face Daily Papers 论文
normalized-low-rank-adaptation lora parameter-efficient-finetuning convergence training-stability catastrophic-forgetting

摘要

归一化低秩适应 (NoRA) 通过归一化下投影矩阵来稳定 LoRA 训练，加速收敛并提高性能，无需额外参数或推理成本。

尽管低秩适应 (LoRA) 被广泛用于参数高效的模型适应，但如何规范化其训练动态以实现稳定和有效的优化仍待深入探索。因为 LoRA 将上投影初始化为零，其早期优化动态主要由下投影决定。基于这一观察，我们引入了归一化低秩适应 (NoRA)，这是一种简单而有效的方法，在训练过程中归一化下投影矩阵。我们进一步表明，相同的归一化可以仅在初始化时应用，无需在整个训练过程中重复归一化，即可改进标准 LoRA。在预训练、监督微调和强化学习中，NoRA 一致地加速收敛，提高性能和训练稳定性，并减轻灾难性遗忘。这些益处既不需要额外的可训练参数，也不需要推理时计算，使 NoRA 成为一种简单且广泛适用的 LoRA 增强方法。
查看原文
查看缓存全文

缓存时间: 2026/09/01 11:48

论文页面 - 归一化低秩适应

来源：https://huggingface.co/papers/2608.31036 发布于 8月31日

·

由 https://huggingface.co/Jo1uck 提交

J.L (https://huggingface.co/Jo1uck) 于 9月1日发布

摘要

归一化低秩适应通过归一化下投影矩阵来稳定 LoRA 训练，加速收敛并提升性能，且无需额外参数或推理开销。

虽然低秩适应 (https://huggingface.co/papers?q=low-rank%20adaptation) (LoRA (https://huggingface.co/papers?q=LoRA)) 已被广泛用于参数高效的模型适应，但如何规范化其训练动态以实现稳定有效的优化仍有待深入探索。由于LoRA (https://huggingface.co/papers?q=LoRA) 将上投影初始化为零，其早期优化动态主要受下投影 (https://huggingface.co/papers?q=down-projection) 支配。基于这一观察，我们引入了归一化低秩适应 (https://huggingface.co/papers?q=Normalized%20Low-Rank%20Adaptation) (NoRA (https://huggingface.co/papers?q=NoRA))，这是一种简单有效的方法，在训练过程中对下投影 (https://huggingface.co/papers?q=down-projection) 矩阵进行归一化。我们进一步证明，同样的归一化操作可以仅在初始化时应用，从而在不需训练期间重复归一化的情况下提升标准LoRA (https://huggingface.co/papers?q=LoRA) 的性能。在预训练、监督微调和强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) 中，NoRA (https://huggingface.co/papers?q=NoRA) 均能稳定地加速收敛、提升性能和训练稳定性，并缓解灾难性遗忘 (https://huggingface.co/papers?q=catastrophic%20forgetting)。这些优势既不需要额外的可训练参数，也不增加推理时的计算量，使得NoRA (https://huggingface.co/papers?q=NoRA) 成为对LoRA (https://huggingface.co/papers?q=LoRA) 简单而广泛的增强方案。

查看 arXiv 页面 (https://arxiv.org/abs/2608.31036) 查看 PDF (https://arxiv.org/pdf/2608.31036) GitHub2 (https://github.com/Joluck/NoRA) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.31036)

引用此论文的模型0

尚无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.31036 以从此页面链接它。

引用此论文的数据集0

尚无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.31036 以从此页面链接它。

引用此论文的 Spaces0

尚无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.31036 以从此页面链接它。

包含此论文的收藏夹4

相似文章

TaRA：训练感知的低秩适应初始化

arXiv cs.CL

TaRA是一种针对低秩适应（LoRA）的训练感知初始化方法，它提高了梯度保真度，从而在各种任务中提升了大型语言模型的微调性能。

PaLoRA：面向持续学习的渐进式低秩自适应方法

Hugging Face Daily Papers

PaLoRA 提出了一种面向 LoRA 的持续学习的渐进式低秩自适应方法，推导出一种最优的自适应渐进律，使梯度步长与累积知识的有效秩成比例缩放。该方法结合了自适应 SVD 截断、零空间梯度投影和秩感知渐进机制，在多个基准上取得一致提升，包括在 50 任务 ImageNet-A 和 ImageNet-R 基准上将准确率提升 4%。

MuLoRA：用于持续学习的谱均衡低秩适配方法

arXiv cs.LG

MuLoRA 提出了一种面向持续学习的谱均衡低秩适配方法。该方法识别出 LoRA 更新中的「谱可塑性坍缩」现象，并通过历史白化和基于动量的正交化加以应对，在类别增量基准的 16 项指标中有 15 项取得了最佳平均准确率。

Hybrid-LoRA：桥接全微调与低秩适应的后训练方法

arXiv cs.LG

Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。