gradient-initialization

本文提出统一LoRA（ULoRA），一种用于低秩适配的双参数预条件梯度初始化家族，表明现有的LoRA初始化方法是该连续统上的点。作者证明，经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能，并在LLaMA 2-7B上的GSM8K任务中具有竞争力，同时引入了ULoRA-Auto以实现零搜索部署。