transformer-pruning

本文提出REP-LIE，一种针对Transformer模型的资源高效剪枝方法，利用LoRA梯度的低秩重要性估计实现微调过程中的剪枝，并在LLaMA-7B和Mistral-7B上展现出与现有方法相当的性能。

CausalGate引入了一种方法，通过因果干预测量Transformer子层的重要性，并将其蒸馏为静态标量门控，实现高效推理且无运行时开销，优于现有的剪枝和路由方法。