parameter-efficient-fine-tuning

本文提出Badit方法，将大语言模型参数分解为正交的高奇异值LoRA专家，以在多任务指令微调中缓解跨任务干扰。

SAMoRA 通过引入语义感知路由器和任务自适应缩放，在 MoE-LoRA 微调中提升专家专业化与动态加权，在多任务基准上显著优于现有方法。

Aletheia 提出了一种基于梯度引导的层选择方法，用于高效的 LoRA 微调。该方法通过轻量级梯度探针识别与任务相关的 Transformer 层，并选择性地应用适配器，在 14 个模型上实现了 15%-28% 的训练加速，同时保持了在 MMLU、GSM8K 和 HumanEval 基准测试中的下游性能。