Hybrid-LoRA：桥接全微调与低秩适应的后训练方法

arXiv cs.LG 2026/05/20 04:00 论文

摘要

Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。

arXiv:2605.18822v1 公告类型：新摘要：后训练已变得至关重要，用于使大型语言模型（LLMs）适应复杂的下游行为，包括指令遵循、偏好对齐和多步推理。基于可验证奖励的强化学习（RLVR）最近成为一种特别有效的后训练范式，用于提升推理能力，其中无需评论家的算法（如GRPO和GSPO）实现了可扩展的优化。然而，使用全微调（FFT）的RLVR后训练需要大量GPU内存，且训练成本高昂。尽管参数高效微调（PEFT）方法（如低秩适应LoRA）有效降低了计算成本，但在复杂推理任务的后训练中，与全微调相比，它们通常存在明显的性能差距。本文提出Hybrid-LoRA，一种高效的混合后训练框架，该框架选择性地对一小部分不适合低秩适应的模块进行全微调，同时使用LoRA适应其余组件。我们引入了一种新颖的Hybrid-LoRA评分，用于在固定参数预算下根据候选模块对低秩适应的敏感度对其进行排序。实验表明，在10%的全微调模块预算下（剩余候选模块通过LoRA适应），Hybrid-LoRA的性能与全微调紧密匹配，持续优于四种最先进的PEFT后训练基线，与最佳基线相比提升高达5.65%，平均提升4.36%。

查看原文

相似文章

超越 LoRA 与全参数微调：基于梯度引导优化器路由的大语言模型适配

arXiv cs.CL

本文提出了一种混合 LoRA 与全参数微调（MoLF）框架，利用梯度引导的优化器路由在 LoRA 和全参数微调之间进行自适应切换。旨在通过结合全参数微调的可塑性与 LoRA 的正则化特性，克服仅依赖静态适配方法的结构局限性。

Echo-LoRA：通过跨层表示注入实现参数高效微调

arXiv cs.LG

本文介绍了 Echo-LoRA，这是一种新的参数高效微调方法，它将来自深层源层的跨层表示注入到浅层 LoRA 模块中，从而在不增加推理开销的情况下提升性能。

BaLoRA：大规模模型的贝叶斯低秩适应

arXiv cs.LG

BaLoRA 引入了低秩适应（LoRA）的贝叶斯扩展，通过缩小与全量微调之间的差距，提供校准良好的不确定性估计并提高预测准确性。

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

Hugging Face Daily Papers

# Paper page - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning Source: [https://huggingface.co/papers/2605.07850](https://huggingface.co/papers/2605.07850) We propose**MatryoshkaLoRA**, a general, Matryoshka\-inspired training framework for LoRA that learns accurate hierarchical low\-rank representations by inserting a fixed, carefully crafted diagonal matrix**P**between the existing LoRA adapters to scale their sub\-ranks accordingly\. By introducing

Aletheia：基于梯度引导的层选择方法，实现跨架构的高效LoRA微调