hypernetworks

来自NaceAI的一篇新论文提出了一种基于超网络的方法，用于在不修改核心参数的情况下向大型语言模型注入知识，可能实现高效的持续学习。该方法使用生成的低秩适配器来编码新事实，同时保持基础模型冻结。

本文研究了基于超网络将知识注入大语言模型的缩放定律，发现了可预测的幂律缩放和可靠的分布外泛化，确立了超网络作为LoRA和全参数微调的可扩展替代方案。

PorTAL是一种新颖架构，将任务微调与特定基础模型权重解耦，实现可移植的任务适配器，这些适配器可以以最小的重新训练量迁移到新模型。在未见模型上，仅使用一半的校准数据就达到了LoRA约98%的准确率提升。

独立研究表明，在 3B Llama 的工具使用中，227M 参数的超网络相比精心设计的少样本提示毫无增益，仅用 1/10 延迟即可达到 GPT-5 性能的 79.7%。