@_akhaliq: Code2LoRA 软件演化下代码语言模型的超网络生成适配器

X AI KOLs Following 2026/06/05 15:58 论文

code-models lora software-evolution hypernetwork adapters

摘要

本文介绍了Code2LoRA，一种基于超网络的方法，用于生成代码语言模型的适配器，以应对软件演化中的挑战。

Code2LoRA 软件演化下代码语言模型的超网络生成适配器 https://t.co/e4vq1C83mY

查看原文

查看缓存全文

缓存时间: 2026/06/05 17:19

Code2LoRA

超网络生成的适配器，用于软件演化下的代码语言模型 https://t.co/e4vq1C83mY

相似文章

Hugging Face Daily Papers

Code2LoRA 引入了一个超网络，该超网络能够从代码仓库中一次性前向传播生成 LoRA 适配器，使得冻结的代码大语言模型无需额外 token 即可适应仓库上下文，并高效支持不断演进的代码库。此外，它还提供了 RepoPeftBench，一个用于仓库条件代码建模的基准测试。

arXiv cs.CL

JumpLoRA 引入了一个新颖的稀疏适配器框架，用于大语言模型的持续学习。该方法使用 JumpReLU 门控来动态隔离任务参数并防止灾难性遗忘。它增强了基于 LoRA 的方法，并超越了 ELLA 等最先进的持续学习方法。

arXiv cs.LG

本文使用稀疏自编码器分析了语言模型中LoRA诱导表征的几何结构，发现LoRA更新占据的部分特征结构无法完全被预训练的可解释性词典捕获。

arXiv cs.LG

ReLoRA是一个知识复用的适应框架，能够高效恢复面向不断演进的LLM服务的、可投入使用的LoRA适配器。通过自适应初始化和计划正则化，它可将准备时间缩短最多8.9倍，并将准确率提升最高4.6%。

Hugging Face Daily Papers

本文介绍Video2LoRA，一种直接从视频表示预测低秩适配（LoRA）权重的方法，能够在冻结的视觉-语言模型中实现高效的视频处理。它将视觉令牌负载降低最多1500倍，查询TTFT降低6-80倍，同时在视频摘要和字幕生成基准上保持性能。