标签
介绍了一种基于汉克尔降阶模型（HRM）的适配器，这是一种通过平衡截断初始化的SSM残差模块，用于参数高效微调，在长上下文任务中优于LoRA。
本文详细介绍了 LoRA 及其变体（QLoRA、VeRA、DoRA）的原理，解释了如何通过低秩分解减少可训练参数，实现高效微调大型模型。
提出ARIADNE，一种无需训练、适配器无关的路由框架，通过在嵌入空间中测量输入与适配器特定质心的接近度，在推理时选择最优的PEFT适配器，在23个任务上恢复了97.44%的上限性能。
本文提出了对LoRA的稀疏诱导适配方法，包括廉价LoRA（cLA）和链式循环变体（c³LA），并提供了理论泛化界以及实证评估，结果显示在保持竞争性性能的同时，训练时间最多减少10%，峰值GPU内存节省最多15%。
本文提出SDBN，一种将对抗训练与参数高效微调相结合的框架，旨在提升基础模型在噪声和有限数据下的鲁棒性，并在低资源场景中展现出显著改进。
本文实证比较了多种LoRA变体在多语言指令微调中的表现，发现复杂变体在平衡跨语言迁移与知识保留方面相比基本LoRA并无显著优势。
本文系统性地研究了使用LoRA对Qwen2.5-3B进行参数高效微调用于电信客户支持，比较了16种LoRA配置的传统指标与能耗分析。发现定量与定性性能之间存在分歧。
ReLoRA是一个知识复用的适应框架，能够高效恢复面向不断演进的LLM服务的、可投入使用的LoRA适配器。通过自适应初始化和计划正则化，它可将准备时间缩短最多8.9倍，并将准确率提升最高4.6%。
本文探索将参数高效微调（PEFT）用作持久化个性化模型的紧凑基底，研究了向上、向下和向外扩展，并介绍了用于管理适配器的MinT。
FoRA提出了一种参数高效微调方法，通过Fisher评分选择任务相关层，并在Stiefel流形上训练LoRA下投影，在保持精度的同时减少参数。
Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。
本文提出了 LayerTracer，这是一个用于持续预训练中参数层分配的可解释框架。研究表明，在冻结深层网络的同时仅训练浅层，其效果优于全参数微调。这为资源受限团队优化大语言模型提供了一种低成本且可操作的策略。
本文介绍了 Echo-LoRA，这是一种新的参数高效微调方法，它将来自深层源层的跨层表示注入到浅层 LoRA 模块中，从而在不增加推理开销的情况下提升性能。
本文介绍了 CERSA，这是一种新颖的参数高效微调方法，它利用奇异值分解来保留主成分，在显著降低内存使用的同时，其表现优于 LoRA 等现有方法。
本研究通过实证表明，在监督微调中有效的基于梯度的 LoRA 秩分配，在基于 GRPO 的强化学习中会导致性能下降，原因在于梯度景观更为平缓以及存在梯度放大效应。
本文介绍了 GLoRA，这是一种面向联邦 LoRA 的规范感知服务器表示，旨在通过估计共识更新子空间来解决因子聚合中的语义不匹配问题。实验表明，在异构客户端场景下，GLoRA 在性能和效率方面均优于基线方法。
本文提出Badit方法，将大语言模型参数分解为正交的高奇异值LoRA专家，以在多任务指令微调中缓解跨任务干扰。
介绍了一种数据自适应的高效微调方法——Queryable LoRA，它利用共享的低秩更新原子记忆，结合基于注意力的路由和指令正则化，实现动态、上下文敏感的参数更新，同时保持可扩展性。
SAMoRA 通过引入语义感知路由器和任务自适应缩放，在 MoE-LoRA 微调中提升专家专业化与动态加权，在多任务基准上显著优于现有方法。
Aletheia 提出了一种基于梯度引导的层选择方法，用于高效的 LoRA 微调。该方法通过轻量级梯度探针识别与任务相关的 Transformer 层，并选择性地应用适配器，在 14 个模型上实现了 15%-28% 的训练加速，同时保持了在 MMLU、GSM8K 和 HumanEval 基准测试中的下游性能。