论文页面 - PaLoRA：面向持续学习的渐进式低秩适配

来源：https://huggingface.co/papers/2610.04226

摘要

基于 LoRA 的持续学习方法通过各种机制来缓解灾难性遗忘，但几乎所有方法都辅以小学习率，作为限制梯度缩放幅度的启发式手段。这种固定启发式缺乏理论指导，无法说明随着任务不断累积，这种限制的强度应当如何演化。我们揭示出，即便在零空间投影等定向约束下，有限精度更新仍会沿多个方向不可避免地泄漏到累积先验知识所张成的子空间中。虽然小学习率能够减弱这种泄漏，但随着历史知识的有效秩不断增长，累积遗忘仍会加剧，这一点小学习率无法阻止。我们证明，最优的幅度限制应当随该有效秩自适应增大，以平衡稳定性与可塑性，即在保持既有知识与习得新任务信息之间取得权衡。在各向异性泄漏模型下，我们推导出一个刻画梯度步长最优缩放（即幅度限制本身）的节奏律 \ell^*=R/c，其中 R 为过去更新的有效秩。基于这一洞察，我们提出 PaLoRA，它通过自适应 SVD 截断来压缩历史知识，将梯度投影到先前任务的零空间中，并施加秩感知的自适应节奏。实验表明，PaLoRA 相比先前方法取得了一致的性能提升，在长时程场景中表现尤为突出，在具有挑战性的 50 任务 ImageNet-A 和 ImageNet-R 基准上实现了 4% 准确率的显著增益。

查看 arXiv 页面（https://arxiv.org/abs/2610.04226）查看 PDF（https://arxiv.org/pdf/2610.04226）GitHub（https://github.com/liyuxuan-github/PaLoRA）添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.04226）

在你的智能体中获取本文：

hf papers read 2610.04226

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.04226，即可从本页面建立链接。

引用本文的数据集 0

没有数据集关联到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.04226，即可从本页面建立链接。

引用本文的 Space 0

没有 Space 关联到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.04226，即可从本页面建立链接。

包含本文的合集 0

没有合集包含这篇论文

将本文添加到合集（https://huggingface.co/new-collection）即可从本页面建立链接。