@_akhaliq: Code2LoRA 软件演化下代码语言模型的超网络生成适配器

X AI KOLs Following 2026/06/05 15:58 论文

code-models lora software-evolution hypernetwork adapters

摘要

本文介绍了Code2LoRA，一种基于超网络的方法，用于生成代码语言模型的适配器，以应对软件演化中的挑战。

Code2LoRA 软件演化下代码语言模型的超网络生成适配器 https://t.co/e4vq1C83mY

查看原文

查看缓存全文

缓存时间: 2026/06/05 17:19

Code2LoRA

超网络生成的适配器，用于软件演化下的代码语言模型 https://t.co/e4vq1C83mY

相似文章

Hugging Face Daily Papers

Code2LoRA 引入了一个超网络，该超网络能够从代码仓库中一次性前向传播生成 LoRA 适配器，使得冻结的代码大语言模型无需额外 token 即可适应仓库上下文，并高效支持不断演进的代码库。此外，它还提供了 RepoPeftBench，一个用于仓库条件代码建模的基准测试。

arXiv cs.CL

JumpLoRA 引入了一个新颖的稀疏适配器框架，用于大语言模型的持续学习。该方法使用 JumpReLU 门控来动态隔离任务参数并防止灾难性遗忘。它增强了基于 LoRA 的方法，并超越了 ELLA 等最先进的持续学习方法。

arXiv cs.LG

本文使用稀疏自编码器分析了语言模型中LoRA诱导表征的几何结构，发现LoRA更新占据的部分特征结构无法完全被预训练的可解释性词典捕获。

arXiv cs.CL

提出了MaLoRA和MaRA两种适配器系列，在冻结的语言模型中引入选择性状态空间递归，实现token级和上下文级适配，在MuSiQue和2WikiMultihopQA等多跳推理基准上取得了显著提升。

arXiv cs.LG

ReLoRA是一个知识复用的适应框架，能够高效恢复面向不断演进的LLM服务的、可投入使用的LoRA适配器。通过自适应初始化和计划正则化，它可将准备时间缩短最多8.9倍，并将准确率提升最高4.6%。