标签
本文研究了top-1崩溃率作为短视界LoRA微调离散扩散语言模型的稳定性监控器的有效性，发现其精度为零，并提出最大梯度范数作为更可靠的替代方案，在LLaDA系列模型上具有更高的精度和F1分数。
提出ARIADNE，一种无需训练、适配器无关的路由框架，通过在嵌入空间中测量输入与适配器特定质心的接近度，在推理时选择最优的PEFT适配器，在23个任务上恢复了97.44%的上限性能。
本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。
一个桌面应用，让用户可以在聊天中纠正模型回复并本地训练LoRA适配器，无需手动使用笔记本即可闭环反馈。
KappaTune，一种旨在缓解灾难性遗忘的微调方法，已被集成到 Hugging Face 的 PEFT 库中。
Hugging Face 的 PEFT 库实现了在单张 GPU 上对大型模型进行参数高效微调，在降低计算和存储成本的同时保持性能。
本文介绍了 Echo-LoRA，这是一种新的参数高效微调方法，它将来自深层源层的跨层表示注入到浅层 LoRA 模块中，从而在不增加推理开销的情况下提升性能。
本文介绍了 CERSA，这是一种新颖的参数高效微调方法，它利用奇异值分解来保留主成分，在显著降低内存使用的同时，其表现优于 LoRA 等现有方法。
ShadowPEFT 提出一种集中式参数高效微调方法，通过深度共享的阴影模块细化 Transformer 层表示，在可训练参数量与 LoRA/DoRA 相当的情况下实现同等甚至更优的性能。