标签
本文介绍了一种基于ℓp正则化的自动秩分配方法ℓp-LoRA，该方法用于低秩适应，并在自然语言处理任务上展示了具有竞争力的性能。
本文提出了ChainDoRA，一种针对大语言模型的参数高效微调方法，它结合了Tensor-Train分解和权重分解低秩适应，实现了可训练参数90.62%的减少，并在LoRA和DoRA的基础上提高了准确率。
本文提出了一种参数高效的适应框架，利用LoRA和对比学习增强视觉Transformer，用于合成孔径声呐图像中的自动目标识别。
LARA是一个研究项目和PyTorch库，使用低秩残差适配器为冻结的大型语言模型启用模块化、可组合的行为，允许高效的训练和推理时多种行为的融合。
本文提出FLoKD，一种用于无线网络上联邦LoRA微调LLM的自适应知识蒸馏框架，可将通信开销降低50-65%，同时保持竞争性能。
本文介绍CLAW，一种使用超网络生成世界模型低秩适配器的方法，能够在有限的测试时数据下实现基于模型的强化学习中的高效在线适应。
本文介绍了Iso-LoRA，一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器，从而增强LoRA，提高语言模型适配中的有效秩和下游性能。
LOCUS是一种任务感知低秩后训练方法，可在保持偏好对齐的同时减少语言模型的输出令牌长度，在Pythia-2.8B上实现高达39.84%的减少，且仅需最少的参数更新。
本文表明，结合互补的持续学习机制可以增强语言模型中的长期记忆，通过数据、功能和权重锚点以及合并的LoRA，将保留率提升28倍。
TaRA是一种针对低秩适应（LoRA）的训练感知初始化方法，它提高了梯度保真度，从而在各种任务中提升了大型语言模型的微调性能。
本文介绍Von-Neumann State-Space Transformer (VN-SST)，这是一种受冯·诺依曼架构启发的新模型，通过使用低秩指令库进行特定于令牌的操作，提高了神经解码中的样本效率，在基准测试中优于标准Transformer。
AQLoRA是一种零搜索方法，通过自适应地将高NF4重构误差的层保持为fp16格式，加速量化LoRA微调，实现最高11%的训练速度提升，且精度损失极小。
本文介绍了LoRA-GA$^2$，这是一种微调算法，它利用多步梯度信息来提升大型语言模型的低秩适应性能，在基准测试中取得更好的结果，同时保持效率。
CLEAR引入了一种用于LLM安全对齐的连续潜在适配器路由框架，使用隐藏状态门控来调节安全适配器，以在HarmBench上提高鲁棒性，同时在良性输入上保持效用。
本文研究了LoRA中的奇异分量，并提出SCLoRA，一种使用光谱裁剪来提高任务自适应能力同时减少预训练知识灾难性遗忘的方法。
SeFoRA 是一种提出的联邦 LoRA 算法，利用草图聚合来处理异构客户端秩并缓解双线性失配问题。它包含一个具有收敛保证的秩同质变体，并在 RoBERTa-Large 微调上展示了最先进的性能。
本文探讨了LLM在阿拉伯语医学任务中表现不佳的原因，通过机制分析表明知识存在于模型内部但未能浮现，随后提出了TLoRA，一种定向低秩适配方法，在医学问答上优于全网络LoRA，并引入了一个新的阿拉伯语临床对话基准。
本文提出统一LoRA（ULoRA），一种用于低秩适配的双参数预条件梯度初始化家族，表明现有的LoRA初始化方法是该连续统上的点。作者证明，经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能，并在LLaMA 2-7B上的GSM8K任务中具有竞争力，同时引入了ULoRA-Auto以实现零搜索部署。
MoLGE在混合专家框架中为相似语言簇分配专用专家模块，用于大规模多语言ASR，在参数增加极小的情况下提升495种语言的性能。
本文介绍了IHLC在LT-EDI 2026共享任务中的提交方案，使用LoRA微调进行性别中性重写（排名第3）和激活引导进行对立叙事生成（排名第6），同时展示了其潜力与局限性。