标签
SeFoRA is a proposed federated LoRA algorithm that uses sketch aggregation to handle heterogeneous client ranks and alleviate bilinear mismatch. It includes a rank-homogeneous variant with convergence guarantees and shows state-of-the-art performance on RoBERTa-Large fine-tuning.
本文探讨了LLM在阿拉伯语医学任务中表现不佳的原因，通过机制分析表明知识存在于模型内部但未能浮现，随后提出了TLoRA，一种定向低秩适配方法，在医学问答上优于全网络LoRA，并引入了一个新的阿拉伯语临床对话基准。
本文提出统一LoRA（ULoRA），一种用于低秩适配的双参数预条件梯度初始化家族，表明现有的LoRA初始化方法是该连续统上的点。作者证明，经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能，并在LLaMA 2-7B上的GSM8K任务中具有竞争力，同时引入了ULoRA-Auto以实现零搜索部署。
MoLGE在混合专家框架中为相似语言簇分配专用专家模块，用于大规模多语言ASR，在参数增加极小的情况下提升495种语言的性能。
本文介绍了IHLC在LT-EDI 2026共享任务中的提交方案，使用LoRA微调进行性别中性重写（排名第3）和激活引导进行对立叙事生成（排名第6），同时展示了其潜力与局限性。
TriSP 提出了一种三信号重要性度量，结合权重幅度、激活范数和梯度敏感性，用于大语言模型的结构化剪枝，在 LLaMA-7B 上实现了最低困惑度和高吞吐量提升。
本文强化了LoRA的收敛性分析，将确定性预言机复杂度从指数级提升至O(epsilon^{-4})，并提出了随机变体LoRA-NSGDM和LoRA-STORM，其预言机复杂度分别改进为O(epsilon^{-8})和O(epsilon^{-6})。
MoE2-LoRA 引入了一种双通道路由条件投影（Routing-Conditioned Projection）和一个全局 LoRA 专家池，以实现用于微调 MoE 模型的 MoE 风格低秩适配，在保留通用能力的同时取得了最先进的准确率。
来自NaceAI的一篇新论文提出了一种基于超网络的方法，用于在不修改核心参数的情况下向大型语言模型注入知识，可能实现高效的持续学习。该方法使用生成的低秩适配器来编码新事实，同时保持基础模型冻结。
提出了MaLoRA和MaRA两种适配器系列，在冻结的语言模型中引入选择性状态空间递归，实现token级和上下文级适配，在MuSiQue和2WikiMultihopQA等多跳推理基准上取得了显著提升。
SOS-LoRA 通过将秩预算分解为具有固定多尺度缩放的静态正交低秩专家来扩展 LoRA，在不增加推理成本的情况下提升了在推理、NLU 和数学基准上的微调性能。
CARE-LoRA提出了一种压缩激活重建框架，通过利用低秩投影来减少LoRA微调过程中的内存消耗。该方法在降低内存占用的同时，实现了具有竞争力的性能。
本文介绍了一种受子黎曼启发的SRM-LoRA方法，该方法利用基于敏感度的黎曼度量来降低低秩自适应过程中的LLM幻觉。该度量重新塑造了反向传播梯度，抑制了高成本的更新方向，从而在HaluEval-QA等基准测试上提高了事实可靠性。
TabLoRA 提出了一种针对大规模表格数据的参数高效神经集成方法，通过共享公共骨干网络并引入预测器特定的低秩适配，在性能上与 GBDT 和深度学习基线方法相竞争。
提出了堆叠LoRA，一种将被试不变知识与被试特定知识解耦的框架，用于使EEG基础模型适应运动想象解码，在多个基准上提升了准确率。
LoRA（低秩适配）是LLM最流行的参数高效微调方法，视频介绍了LoRA及其变体（LoRA+、QLoRA、VeRA、DoRA）的工作原理。
本文提出了对LoRA的稀疏诱导适配方法，包括廉价LoRA（cLA）和链式循环变体（c³LA），并提供了理论泛化界以及实证评估，结果显示在保持竞争性性能的同时，训练时间最多减少10%，峰值GPU内存节省最多15%。
本文揭示了LoRA优化中缩放因子α比学习率更具影响力，并提出了LoRA-α框架，通过将α恢复到其理论原则区间，提升了性能并简化了超参数搜索。
本文介绍了DoRA-RBAC，一个用于组合LLM适配器的框架，并测试了几何感知合并是否能提升多域性能。结果显示，与标准平均方法相比，没有一致的改进，表明适配器干扰并非主要由参数空间几何驱动。
本文提出了零空间约束响应指定遗忘（NSRU），一种低秩框架，通过将正交投影的LoRA更新限制在保留子空间的零空间内，实现受控的大语言模型遗忘，同时保持其良性能力。