sparse-update

本文介绍了 Super 和 Supra 两种稀疏参数高效微调方法，它们重用来自剪枝的显著性信号（如 Wanda 分数）来选择可训练的支持集，并与 LoRA 结合，以更少的内存和计算在算术任务上取得了高准确率。