hypernetworks

提出 CLIK，一个上下文条件化的参数生成器，通过单次前向传播将上下文映射为 LoRA 参数，把知识内化到模型权重中，无需测试时梯度更新，在文档问答和多轮对话上优于现有超网络方法。

论文提出 WebMix，一种利用混合超网络在部署时组合已有低秩适配器（LoRA）的网页智能体适配方法，无需在目标界面上重新训练即可实现跨域和跨版本迁移，并在 TimeWarp 与 WebArena-Lite-v2 上取得显著提升。

本文提出了三种用于大语言模型少样本作者风格适配的方法——对比式激活引导、引导向量预测网络，以及预测 LoRA 适配器的超网络——并发现无论对于已见还是未见作者，超网络都能在风格模仿与输出质量之间取得最佳的权衡。

HyperThink 提出了一种文本到参数的方法：一个轻量级超网络根据查询预测对大语言模型（LLM）中一小部分参数的更新，将冗长的思考过程压缩为单次前向传播，从而改善推理任务的精度-延迟权衡。

阿姆斯特丹大学的一项研究将基于强化学习的多实例学习、对抗去偏和偏好条件化超网络相结合，用于学业风险学生预测。研究发现，公平性目标可以加入到可解释的 RL-MIL 流水线中，但仅凭偏好条件化无法实现性能与 Equalized Odds（机会均等）之间可控的权衡，原因是存在模式坍缩。

HyperThink 提出一种 text-to-parameter 超网络方法，通过一次前向传播直接预测 LLM 的参数更新，从而免去长思维链解码，在低延迟场景下显著提升数学与通用推理的准确率-延迟权衡。

HyperZip 提出了一种高效的基于大语言模型的无损数据压缩框架。该框架利用基于扩散的大语言模型、Multi-Token Prediction（多词元预测）以及超网络，无需微调即可让模型适配目标数据，从而在压缩率与吞吐量之间实现了优于自回归基线的权衡。

Atelier引入了一种自监督超网络框架，该框架为CryoEM密度图生成隐式神经表示，使得局部特征提取成为可能，并提升下游注释任务的性能。

HyperQ 在冻结的掩码扩散语言模型中引入了令牌条件化的量子残差分支，使用电路超网络动态生成量子电路参数。这种方法在基准测试中提高了性能，并且计算效率高，与经典基线相比需要更少的微调示例。

本文介绍CLAW，一种使用超网络生成世界模型低秩适配器的方法，能够在有限的测试时数据下实现基于模型的强化学习中的高效在线适应。

来自NaceAI的一篇新论文提出了一种基于超网络的方法，用于在不修改核心参数的情况下向大型语言模型注入知识，可能实现高效的持续学习。该方法使用生成的低秩适配器来编码新事实，同时保持基础模型冻结。

本文研究了基于超网络将知识注入大语言模型的缩放定律，发现了可预测的幂律缩放和可靠的分布外泛化，确立了超网络作为LoRA和全参数微调的可扩展替代方案。

PorTAL是一种新颖架构，将任务微调与特定基础模型权重解耦，实现可移植的任务适配器，这些适配器可以以最小的重新训练量迁移到新模型。在未见模型上，仅使用一半的校准数据就达到了LoRA约98%的准确率提升。

独立研究表明，在 3B Llama 的工具使用中，227M 参数的超网络相比精心设计的少样本提示毫无增益，仅用 1/10 延迟即可达到 GPT-5 性能的 79.7%。