标签
BYOD 提出了一种仅使用 LoRA 的方案，可高效地将自回归语言模型转换为扩散语言模型，在冻结所有基础参数的情况下，仅需在单个 Colab GPU 上运行约 3–4 小时，即可完成 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 的转换。
提出 Self-Direction 机制，让智能体在任务失败后自我反思并将教训蒸馏进轻量级 LoRA 适配器，构建可持久复用的教训库，在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上将成功率提升 8.9 至 17.0 个百分点，并显著减少重复犯错。
论文提出 LSA-PAST，一种面向组合式增量学习（composition-IL）的参数高效方法，通过在冻结的 ViT 中注入深度特化的 LoRA 适配器，并利用无需复习的仿射变换将旧原型映射到新的适配器空间，实现了在精度—遗忘权衡上的 state-of-the-art 表现。
该论文提出 Continuum-LM，将预训练残差变换复用为连续深度语言模型中的动力学算子，通过 ODE 数值积分控制计算量，在八项科学任务上较离散基线分别在 0.6B 和 1.7B 规模提升 7.77 和 10.96 个百分点的平均准确率。
ToPA 提出了一种基于分块Toeplitz矩阵的参数高效微调方法，避免了低秩和稀疏结构的限制，在21个NLP和CV数据集、5种模型架构上验证了其表达力与训练稳定性。
AcrossVAM2.0 提出一种冲突感知的点对应监督方法，用于参数高效的视频扩散模型适配，通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad，在保持预训练外观先验的同时提升对应一致性，但并不均匀改善视频质量。
提出 Squelch——一种无需路由、无需新增可训练参数的秩一 LoRA 混合专家方法，通过噪声底限软阈值和 Stein 无偏风险估计，为每个词元自适应选择激活秩，并在常识推理、知识、数学、代码和 GLUE 基准测试上显著优于 LoRA 及最强的混合方法基线。
一份技术报告，提出了一个范畴论框架，将参数高效微调方法视为权重空间中的映射进行分析，证明了有关 LoRA 初始化、对称性和训练动力学的结果，并沿七个可判定坐标对来自 138 篇论文的 382 种方法进行了分类。
本文提出 Diffu-LoRA，一种通过可学习门控与双层优化实现非均匀秩分配的参数高效方法，用于个性化文本到图像扩散模型，在 DreamBooth 等数据集上相较基线提升了主体保真度与提示对齐效果。
本文档研究了基于SVD的KV缓存压缩中"仅编码器修复"的参数高效微调方法，发现当为每个实验组单独调整学习率后，仅训练编码器（冻结解码器）以3倍更少的可训练参数和3倍更少的优化器内存即可达到与全量微调相同的精度，同时揭示了共享学习率在比较不同参数量微调方案时的常见实验缺陷。
该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。
论文提出 MaRK（Markov-adapted Recurrent Kernels），一种将上下文向量直接映射为冻结 SSM 递归参数有界调制的动态算子条件化框架，用于将预训练 SSM 适配到迭代扩散生成任务，在 111M Hydra 骨干上仅需 6.3–11M 可训练参数，其中 Chebyshev 变体表现最佳。
MuLoRA 提出了一种面向持续学习的谱均衡低秩适配方法。该方法识别出 LoRA 更新中的「谱可塑性坍缩」现象，并通过历史白化和基于动量的正交化加以应对，在类别增量基准的 16 项指标中有 15 项取得了最佳平均准确率。
PACT 为单令牌类型化决策模型引入了包含四项的训练目标，利用对比配对与经证书验证的消融实验，在匹配基线准确率的同时，显著降低了位置偏置、随机种子方差以及校准误差。
论文提出了无标签的仅偏置 TTRL 方法，使用多数投票伪标签作为奖励信号，在冻结骨干网络的前提下仅优化约 10 万个偏置参数，使用 Qwen2.5-7B 在 MATH-500 上达到 76.67% 的准确率，并可迁移到视觉-语言与音频推理任务。
UO-FIE是一个参数高效的事实性推理系统，结合精确标签监督与分级效用，在FIE2026的微调赛道中以0.8316的宏效用获得第一名。
本文提出了CRN v2，一个轻量级的纠正模块，能够在不降低基座能力的前提下修复冻结语言模型中的错误，在领域考试中实现53.3%的纠正率，同时保持标准基准测试的性能。
本文研究了在扩散模型微调中LoRA秩选择的权衡问题，表明中等较小的秩（如4和8）通过平衡FID分数与计算成本，能优化微调效率。
ACE提出了一种方法，用于整合MoE大语言模型中跨专家的冗余适配器，以实现更高效的参数高效微调，训练速度提升最高可达1.48倍，且不增加峰值内存。
本文基准测试了联邦LoRA适配BiomedCLIP在四个国际队列中的胸部X光分类性能，展示了相比未适配模型的性能提升，并接近集中式训练结果。