标签
提出 CLIK，一个上下文条件化的参数生成器，通过单次前向传播将上下文映射为 LoRA 参数，把知识内化到模型权重中，无需测试时梯度更新，在文档问答和多轮对话上优于现有超网络方法。
提出一种层级低秩重参数化方法，将PEFT方法的可训练参数重组为近似方阵并递归进行低秩分解，可在压缩约一个数量级参数的同时保持甚至提升LoRA/DoRA在常识推理与数学推理任务上的性能。
该论文提出 Fiber Regulation Theory (FRT) 与 Fiber Acquisition Theory (FAT) 两个理论框架，刻画受保护的功能修复与可训练结构的形成/续期动力学，并在 Qwen2.5-32B 上通过受保护头修复与固定容量 LoRA 续期验证联合策略优于单独策略。
MorphAct 提出一种上下文参数化框架，通过两个耦合的低秩生成器动态调整机器人策略参数，缓解不同交互上下文中相互冲突的参数更新，在 LIBERO、Meta-World 及真实机器人实验中相比多个 VLA 骨干网络最高提升 16.30%。
论文提出 JIVEAdapter，这是一种受统计学中的 Joint and Individual Variation Explained（JIVE，联合与独立变异分解）启发的多任务加性低秩适配器，将权重更新分解为跨任务共享的 Joint（联合）结构和任务专属且近正交的 Individual（独立）结构，并在 GLUE/SuperGLUE 基准上以 DeBERTaV3-base 取得了具有竞争力的表现。
本文介绍了一种基于ℓp正则化的自动秩分配方法ℓp-LoRA，该方法用于低秩适应，并在自然语言处理任务上展示了具有竞争力的性能。
本文介绍了NSFT，一个针对MoE LLMs的细粒度参数高效微调框架，它将适应过程从专家细化到子专家，展示了用更少的可训练参数实现性能提升。
本文提出了ChainDoRA，一种针对大语言模型的参数高效微调方法，它结合了Tensor-Train分解和权重分解低秩适应，实现了可训练参数90.62%的减少，并在LoRA和DoRA的基础上提高了准确率。
本文提出一个用于带口音对话式ASR的三阶段流水线，以提高实体和不流畅性的召回率，实现80-85%的实体召回率，并且用更少的参数优于基线系统。
本文介绍了Iso-LoRA，一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器，从而增强LoRA，提高语言模型适配中的有效秩和下游性能。
TaRA是一种针对低秩适应（LoRA）的训练感知初始化方法，它提高了梯度保真度，从而在各种任务中提升了大型语言模型的微调性能。
归一化低秩适应 (NoRA) 通过归一化下投影矩阵来稳定 LoRA 训练，加速收敛并提高性能，无需额外参数或推理成本。
本文指出了在使用LoRA进行LLM强化学习时，令牌级信用分配中存在的一种结构性失效模式，即内在信号退化。它提出了适配器残差信用分配（ARCA），该方法从适配器的隐藏状态残差中推导令牌显著性，并与基线方法保持竞争力。
PreFT 提出仅在预填充 token 上应用适配器，在解码阶段丢弃它们，从而在几乎不损失性能的情况下提高多适配器服务的吞吐量。