hypernetwork

本文介绍了FANS，一个基于超网络的异构联邦学习框架，该框架学习一个共享架构空间，并使用并行训练结合自蒸馏来优化跨多样设备的模型选择。

HyperFix 提出了一种轻量级超网络，用于预测不同任务子集上任务向量合并的非线性校正，降低了每个子集的调参成本，并优于现有方法。

本文提出MoEGen，一种参数高效的微调框架，利用专家混合技术通过专家码和轻量级超网络生成实例自适应的LoRA更新，在不针对每个专家存储独立适配器的情况下提升了常识推理基准的性能。

Compliance2LoRA提出了一种基于超网络的框架，可为大型推理模型按需生成符合策略的LoRA适配器，从而在无需重新训练单独模型的情况下，实现跨任意策略子集的可调安全对齐。

PRISMR 提出了一种使用超网络和 LoRA 内化列表结构的框架，克服了多模态列表排序中的解析崩溃。它引入了一个大规模基准，并展示了在多个领域和骨干网络上的解析崩溃减少和排序性能提升。

介绍了Code2LoRA，一个将整个代码仓库转换为用于代码LLM的LoRA适配器的超网络，消除了推理时仓库级知识的令牌开销。

本文介绍了Code2LoRA，一种基于超网络的方法，用于生成代码语言模型的适配器，以应对软件演化中的挑战。

LatentSkill将文本技能转换为存储在权值空间中的LoRA适配器，减少上下文开销，同时保持LLM智能体的模块化和可组合性，在ALFWorld和Search-QA基准测试上取得了显著改进。

Code2LoRA 引入了一个超网络，该超网络能够从代码仓库中一次性前向传播生成 LoRA 适配器，使得冻结的代码大语言模型无需额外 token 即可适应仓库上下文，并高效支持不断演进的代码库。此外，它还提供了 RepoPeftBench，一个用于仓库条件代码建模的基准测试。

提出了一种用于训练输入凸神经网络（ICNN）的“提升”方法，该方法使用无约束的超网络生成非负的层间权重，从而软化损失景观并避免梯度衰减，相比投影梯度下降和softplus重参数化，实现了更低的测试损失。