标签
提出了User as Engram方法，将每位用户的记忆存储为哈希键控记忆表中的稀疏局部参数化编辑，受海马体记忆印迹启发，与每位用户的LoRA相比，实现了更好的推理准确性和记忆效率。
本文研究了将大语言模型适配到3D CT报告生成的参数高效策略，提出了RAD3D-Prefix，一个轻量级的诊断先验条件框架，该框架保持LLM冻结，仅需极少的可训练参数。结果表明，冻结更大的LLM（约10亿参数以上）并仅训练轻量级投影层，能够在性能、泛化能力和计算效率之间实现更优的权衡。
GRASP提出一种多源迁移学习方法，顺序合并源模型到单个目标模型，内存占用恒定O(1)，使用基于梯度的参数对齐避免负迁移。实验表明其性能优于集成方法且内存效率更高。
本文揭示了LoRA优化中缩放因子α比学习率更具影响力，并提出了LoRA-α框架，通过将α恢复到其理论原则区间，提升了性能并简化了超参数搜索。
ART（基于艺术强化训练）通过梯度反向传播优化原始视觉输入，实现对冻结的多模态大语言模型的参数高效微调，其性能与LoRA相当，同时支持为vLLM等高吞吐引擎预编译的计算图。
本文研究了使用与话语结构对齐的课程对LLaMA-3.1-8B进行序列微调用于自动化作文评分，结果表明与独立或随机训练相比，连贯性和性能均有提升。
西班牙 Multiverse Computing 的 Aizpurua 团队提出用小块量子电路为预训练大模型扩容，仅给 Llama 3.1 8B 增加约 6000 个参数即可降低困惑度 1.4%，验证了量子电路辅助大模型扩展的可行性。
来自阿德莱德大学的研究人员提出了 LR-LoRA（可学习秩 LoRA），这是一种参数高效微调方法，在训练过程中动态学习每个 Transformer 层的适配器秩，而非使用固定的全局秩。LR-LoRA 在语言理解和常识推理基准测试上达到了最先进的性能，超越了固定秩 LoRA 基线。
LoomVideo提出了一种5B参数的统一架构用于视频生成和编辑，通过新颖的条件机制和多模态对齐减少计算开销，实现了具有竞争力的性能和更快的推理速度。
SALSA提出了一种轻量级自适应方法，用于语音感知的大语言模型，通过监督目标学习逐层引导向量，在域外语音基准上取得了显著改进（相对提升高达46.8%），并表明引导编码器层（尤其是较深层）比修改LLM主干更有效。
CSULoRA是一种事后方法，用于纠正训练后的LoRA适配器，以在保持实用性的同时保留安全对齐，该方法利用最接近安全更新估计。
本文提出 VisAnomReasoner，一个参数高效的视觉语言模型，在带自然语言解释的新基准 VisAnomBench 上微调，在时间序列异常检测中精度和 F1 提升超过 21 个百分点，并展现出强大的跨基准泛化能力。
LoRDBA将LoRA的浮点低秩因子替换为二元符号载体和通道级缩放，实现了高效的设备上微调，显著减少了占用空间，延迟开销极小，质量与fp16相当。
本文提出MODIAD，一种面向多模态在线分布式工业异常检测的框架，通过多类智能调度问题和资源高效类级低秩自适应（REC-LoRA）策略解决资源约束问题。在MVTec 3D-AD和Eyecandies数据集上的实验展示了卓越的性能和效率。
FuRA 提出了一种基于频谱预条件的全秩参数高效微调方法，通过块张量列车分解实现，在保持 LoRA 级别效率的同时达到比全微调更高的准确率。它在 LLM 和 VLM 任务上优于 LoRA 和全微调。
P2D是一个统一框架，利用任务敏感的注意力头进行数据选择和结构剪枝，通过仅更新10%的头部和10%的数据，实现了8.3个百分点的性能提升和7.0倍的加速。
介绍了五种参数高效微调技术：LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+，详细说明了每种技术在适配过程中如何修改模型权重。
HELLoRA 为混合专家模型引入了激活感知的适配器放置策略，仅将 LoRA 附加到热门专家上，从而减少参数和 FLOPs，同时提升在推理、代码和安全任务上的性能。
本文提出了一种针对专业领域LLM文本摘要的参数高效词表适配方法，通过扩充预训练分词器中的领域专用词元并选择性替换训练不足的词元，将训练时间减少35-55%，参数数量减少高达37%。