标签
一个开箱即用的代码仓库，通过 EMA 教师模型实现自蒸馏，将 LoRA 适配器与 DeepSpeed ZeRO-3 相结合，可扩展至大型模型，同时避免分别保留完整教师模型和学生模型所带来的内存与延迟开销。已在 Qwen3.5 和 ToolAlpaca 上完成测试，包含适配器切换、EMA 检查点保存以及内存优化的 DeepSpeed 配置。
一篇分析 LoRA 对学习率选择的敏感性并提出 Init[A²] 的论文。Init[A²] 是一种采用方差缩放的新初始化方案，可抑制初始化引入的噪声，稳定非对称 LoRA+ 训练，并拓宽大语言模型微调的稳定学习率范围。
该论文提出 MoPE-LoRA，一种基于音素类别（发音方式）而非口音身份组织低秩专家的参数高效适配框架，用于带口音的英语语音识别；在 L2-ARCTIC 上零样本口音评估中相对单 LoRA 提升 12.3%。
一篇教育性帖子，详细拆解了5种大语言模型参数高效微调（PEFT）技术——LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+，并配以可视化说明，展示每种技术如何通过低秩适配来降低显存和训练成本。
ToPA 提出了一种基于分块Toeplitz矩阵的参数高效微调方法，避免了低秩和稀疏结构的限制，在21个NLP和CV数据集、5种模型架构上验证了其表达力与训练稳定性。
该论文提出使用参数高效微调（PEFT/低秩适配器）来适配超大多模态骨干网络进行脑编码，Brain LoRA 在 Algonauts 2025 挑战赛中取得最佳公开成绩，并通过 multi-LoRA kernel 支持 200+ 模型集成。
该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。
本文提出一种针对LoRA微调大模型的后门净化方法，将LoRA更新投影到正交零空间上，无需获取触发器信息、干净参考数据或重新训练，即可将攻击成功率从约100%降至10%以下，同时保持基模型和适配器的性能。
关于原生 Rust + Vulkan Transformer 训练后端的后续更新：目前有 14 个架构通过了基于固定版本 Hugging Face Transformers 参考实现的严格对等性验证全训练门槛，同时完整的 PEFT 工作流（LoRA、saved modules、适配器切换、精确恢复）已在 32 个架构层面得到验证。
本文提出FrameFT，一种参数高效的微调方法，使用Fusion Frame基中的稀疏系数，在减少内存占用的同时，达到或超过最先进的PEFT技术的性能。
本文评估了大语言模型在罗马乌尔都语（一种资源匮乏语言）中的仇恨言论检测能力，证明使用LoRA的参数高效微调相比零样本推理显著提升了分类性能。
腾讯研究人员提出YOLO-PEFT，一种结构感知框架，将适配器放置视为约束规划，在YOLO检测器上优于全量微调，同时使用的可训练参数显著更少。
The paper compares five parameter-efficient fine-tuning methods on four small language models for on-device personalization, finding LoRA+ best for energy efficiency and QLoRA best for memory-limited deployment.
本文提出了一个使用大语言模型构建塔吉克语电子详解词典的概念框架，该框架整合了词法分析、词形还原、语义聚类和词典条目生成，并采用PEFT策略。
FedWeave针对联邦MoE-LoRA提出非对称聚合方法，通过分离专家聚合与路由器优化来处理任务异构性，从而实现更好的专精化与性能。
本文研究了PEFT-BD，这是一种推测解码方法，使用类似LoRA的适配器作为块扩散起草器，并发现尽管接受的前缀数量可观，但由于起草器仍需进行完整的骨干前向计算，因此并未加速，即计算效率不高。
本文介绍了 Super 和 Supra 两种稀疏参数高效微调方法，它们重用来自剪枝的显著性信号（如 Wanda 分数）来选择可训练的支持集，并与 LoRA 结合，以更少的内存和计算在算术任务上取得了高准确率。
MiCA（Minor Component Adaptation，微成分适配）是一种全新的微调方法，它在次要奇异子空间中初始化适配器，从而更好地吸收知识并减少遗忘。该方法现已合并到 Hugging Face PEFT 库中，可通过 PEFT 主分支获取，并通过现有的 LoRA 接口集成，使用 init_lora_weights='mica'。
本文研究了top-1崩溃率作为短视界LoRA微调离散扩散语言模型的稳定性监控器的有效性，发现其精度为零，并提出最大梯度范数作为更可靠的替代方案，在LLaDA系列模型上具有更高的精度和F1分数。
提出ARIADNE，一种无需训练、适配器无关的路由框架，通过在嵌入空间中测量输入与适配器特定质心的接近度，在推理时选择最优的PEFT适配器，在23个任务上恢复了97.44%的上限性能。