标签
本文提出统一LoRA（ULoRA），一种用于低秩适配的双参数预条件梯度初始化家族，表明现有的LoRA初始化方法是该连续统上的点。作者证明，经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能，并在LLaMA 2-7B上的GSM8K任务中具有竞争力，同时引入了ULoRA-Auto以实现零搜索部署。
提出了能量流形自然梯度下降（EMNGD），一种面向神经PDE求解器的流形优化框架，该框架在参数更新时与函数空间能量曲率对齐，同时遵循参数约束。理论保证和实验结果表明，该方法提高了准确性和收敛速度。
本文介绍了GeoSD，一种几何自蒸馏目标，采用Hellinger损失和近端Fisher-Rao距离项来对抗在线策略自蒸馏中的漂移，在不同模型规模上将分布外推理准确率提升了5.7–8.6个百分点。