标签
一篇教育性帖子，详细拆解了5种大语言模型参数高效微调（PEFT）技术——LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+，并配以可视化说明，展示每种技术如何通过低秩适配来降低显存和训练成本。
该论文发现，在零初始化 LoRA 的 B 矩阵限制的参数池中，密度匹配的随机掩码在基于损失的遗忘指标上持续优于梯度归因选择，质疑了梯度归因额外反向传播开销的必要性。
Itgan 团队介绍了一套统一的 Whisper+LoRA 方案，适配于 NADI 2026 阿拉伯语 ASR 的三个子任务。结果表明，针对不同子任务，方言专属模型、基座模型选择以及免训练的权重平均各有主导优势，而非任何单一的创新组件起决定性作用。
PaLoRA 提出了一种面向 LoRA 的持续学习的渐进式低秩自适应方法，推导出一种最优的自适应渐进律，使梯度步长与累积知识的有效秩成比例缩放。该方法结合了自适应 SVD 截断、零空间梯度投影和秩感知渐进机制，在多个基准上取得一致提升，包括在 50 任务 ImageNet-A 和 ImageNet-R 基准上将准确率提升 4%。
本文介绍了一种用于通信高效联邦LoRA微调的自适应相位切换方法，在保持大型语言模型性能的同时，实现了高达40.5%的通信成本往返节省。