low-rank-importance

本文提出REP-LIE，一种针对Transformer模型的资源高效剪枝方法，利用LoRA梯度的低秩重要性估计实现微调过程中的剪枝，并在LLaMA-7B和Mistral-7B上展现出与现有方法相当的性能。