标签
本文介绍了 Super 和 Supra 两种稀疏参数高效微调方法，它们重用来自剪枝的显著性信号（如 Wanda 分数）来选择可训练的支持集，并与 LoRA 结合，以更少的内存和计算在算术任务上取得了高准确率。
FourTune提出了一个全4比特量化框架（W4A4G4），用于扩散模型的高效后训练，采用三分支混合流水线和自定义融合内核，在12B FLUX.1-dev上将内存减少2.25倍，吞吐量提升2.27倍，且无质量损失。
提出SLAP，一种用于大型语言模型高效指令微调的新型数据选择框架，它评估批次可学习性并采用分层采样，以在减少20-40%训练数据的情况下实现卓越性能。
P2D是一个统一框架，利用任务敏感的注意力头进行数据选择和结构剪枝，通过仅更新10%的头部和10%的数据，实现了8.3个百分点的性能提升和7.0倍的加速。
Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。
FAAST提出了一种前馈方法，通过解析方式将标注样本编译为快速权重，无需反向传播即可实现高效的测试时监督适应，在保持性能的同时提升90%以上的速度和节省95%的内存。