标签
论文提出 Local Support Learning（LSL），一种在无需访问历史数据的情况下缓解大模型灾难性遗忘的框架，通过 GMM 门控函数使权重适配器只在自身训练分布的输入上激活，从而在最多 7B 参数的 LLM 上同时保留预训练与微调能力。
FactorEngram提出了一种用于语言模型的因式分解N-gram记忆与基级别门控，通过使上下文能够调节各个记忆组件，改善语言建模和下游任务。
本文提出一种轻量级预编码器门控机制，用于基于Transformer的时间序列预测模型以调节协变量输入。实验表明，在多个数据集上与基线相比，性能具有竞争力。
本文研究了门控机制在State Space Models中的作用，表明它们促进记忆而非上下文学习，但能提高对长序列的泛化能力。
本文识别了CoCoNuT潜在推理范式中的'概念瓶颈'，即隐藏状态在多次传递中被覆盖，并提出了AGCLR，该方法添加了门控持久记忆流以保留中间事实。在GSM8K、HotpotQA和ProsQA上使用GPT-2进行评估，结果显示一致性改进，尤其是在多跳任务上。