hypernetwork

本文介绍了Code2LoRA，一种基于超网络的方法，用于生成代码语言模型的适配器，以应对软件演化中的挑战。

Code2LoRA 引入了一个超网络，该超网络能够从代码仓库中一次性前向传播生成 LoRA 适配器，使得冻结的代码大语言模型无需额外 token 即可适应仓库上下文，并高效支持不断演进的代码库。此外，它还提供了 RepoPeftBench，一个用于仓库条件代码建模的基准测试。

提出了一种用于训练输入凸神经网络（ICNN）的“提升”方法，该方法使用无约束的超网络生成非负的层间权重，从而软化损失景观并避免梯度衰减，相比投影梯度下降和softplus重参数化，实现了更低的测试损失。