标签
This paper introduces PAC-Bayes-regularized Meta-LoRA for cross-domain LLM personalization, enabling zero- and few-shot adaptation to user preferences while preventing overfitting under sparse evidence. Experiments on benchmarks like HiCUPID show significant improvements in cross-domain win rates and cold-start scenarios.
LoRA-Diffusion 提出了一种针对扩散语言模型的参数高效微调方法，通过对去噪轨迹而非模型权重进行低秩分解，仅使用 1.2% 的轨迹适配器参数即可获得具有竞争力的性能。
SeFoRA 是一种提出的联邦 LoRA 算法，利用草图聚合来处理异构客户端秩并缓解双线性失配问题。它包含一个具有收敛保证的秩同质变体，并在 RoBERTa-Large 微调上展示了最先进的性能。
YOLO-PEFT 是一个结构感知框架，将适配器放置建模为约束规划问题，用于 YOLO 检测器的参数高效微调，在降低内存占用的同时取得了优于全量微调的 mAP。
This paper introduces BBBP-GeoPEFT, a geometry-informed parameter-efficient fine-tuning framework for pre-trained molecular GNNs targeting blood-brain barrier permeability prediction, achieving competitive performance while updating only 10.1% of parameters.
本文提出MoEGen，一种参数高效的微调框架，利用专家混合技术通过专家码和轻量级超网络生成实例自适应的LoRA更新，在不针对每个专家存储独立适配器的情况下提升了常识推理基准的性能。
LARA 是一种高效适应方法，它向冻结模型的残差流添加低秩修正，而不是修改权重，在匹配 LoRA 性能的同时实现可组合行为和推理时调控。
MoE2-LoRA 引入了一种双通道路由条件投影（Routing-Conditioned Projection）和一个全局 LoRA 专家池，以实现用于微调 MoE 模型的 MoE 风格低秩适配，在保留通用能力的同时取得了最先进的准确率。
CT-Merging 提出了一种通过从任务子空间投影器估计共识方向并分配任务级RMS系数缩放来合并LoRA适配器的方法，在DC-Merge CLIP适配器基准上取得了优越的性能。
SOS-LoRA 通过将秩预算分解为具有固定多尺度缩放的静态正交低秩专家来扩展 LoRA，在不增加推理成本的情况下提升了在推理、NLU 和数学基准上的微调性能。
本文在结构化基准上评估了九个开放权重的小型语言模型（参数量135M至3B），并证明参数高效微调显著提升了准确率，使其在结构化小众工作负载的本地部署中具备可行性。
CARE-LoRA提出了一种压缩激活重建框架，通过利用低秩投影来减少LoRA微调过程中的内存消耗。该方法在降低内存占用的同时，实现了具有竞争力的性能。
SQuaD-SQL使用LLM引导的知识蒸馏训练小型语言模型进行Text-to-SQL，在WikiSQL上达到86.9%的执行准确率，同时提供更快的推理速度和更低的内存占用。
ReCoLoRA 是一个频谱感知框架，用于大型语言模型的连续微调。它通过递归整合低秩适配器来防止灾难性遗忘，在多个骨干网络的连续 GLUE 任务上取得了更优的性能。
提出FRAME，一种使用可学习分数阶傅里叶阶数在空间域和频谱域之间插值的专家混合适配器，提升了LLMs在多个基准上的参数高效微调性能。
提出了Hard-Routed MoR-LoRA，一种两阶段框架，通过硬top-1路由组合冻结的推理LoRA专家，相比软路由基线，在保留专家行为的同时需要更少的可训练参数。
介绍了一种基于汉克尔降阶模型（HRM）的适配器，这是一种通过平衡截断初始化的SSM残差模块，用于参数高效微调，在长上下文任务中优于LoRA。
LoRA（低秩适配）是LLM最流行的参数高效微调方法，视频介绍了LoRA及其变体（LoRA+、QLoRA、VeRA、DoRA）的工作原理。
本文详细介绍了 LoRA 及其变体（QLoRA、VeRA、DoRA）的原理，解释了如何通过低秩分解减少可训练参数，实现高效微调大型模型。
提出ARIADNE，一种无需训练、适配器无关的路由框架，通过在嵌入空间中测量输入与适配器特定质心的接近度，在推理时选择最优的PEFT适配器，在23个任务上恢复了97.44%的上限性能。