标签
HyperRepair 是一种框架，仅需推理成本即可恢复微调语言模型的通用能力，同时保留其领域专长。它利用超网络，根据激活指纹生成修复侧网络（Repairing Side Net）。该框架在两个模型家族、12 个 LoRA 适配数据集和 15 项通用基准上进行了评估，通用能力得分达到基础模型的 93.4%，同时保留了微调模型 99.5% 的领域性能。
本文研究了科学基础模型 Walrus-1.3B 在两阶段仿真到现实适应过程中的灾难性遗忘问题，发现对模拟流动数据进行微调可使单步误差增至原来的 35 倍，并表明仅回放 1% 的模拟数据就能恢复大部分损失的性能，同时保留对实验动力学的适应能力。
一项实证研究发现，编码智能体在多个软件工程任务上的持续 harness 自进化会导致严重的灾难性遗忘：在 FeatureBench 上进化后，SWE-Bench 性能从 94.0% 骤降至 32.0%，并为未来的持续智能体 harness 进化提供了启示。
Google Research 推出了一种用于大语言模型的“睡眠框架”，通过交替进行活跃的清醒阶段和离线的睡眠阶段，将短期上下文知识巩固到稳定的长期参数中，从而缓解灾难性遗忘，并能够保留多达 1000 万个词元的长上下文知识。
提出REDAR：将类增量学习中的正则化强度选择建模为序列决策问题，用轻量级强化学习智能体根据当前性能与数据统计动态输出每个阶段的知识蒸馏系数，在CIFAR-100和Tiny-ImageNet上降低了遗忘并提升了前向迁移。
论文提出了技能模式迁移（SST）框架，通过将新领域知识重构为模型已有技能空间中可复用的程序化模式，来缓解持续领域适应中的灾难性遗忘。在两个拥有 30 亿参数的模型上，该框架将 Qwen 数学任务流的最大遗忘幅度从 42.41 个点降至 7.10 个点。
论文提出 LSA-PAST，一种面向组合式增量学习（composition-IL）的参数高效方法，通过在冻结的 ViT 中注入深度特化的 LoRA 适配器，并利用无需复习的仿射变换将旧原型映射到新的适配器空间，实现了在精度—遗忘权衡上的 state-of-the-art 表现。
该论文提出 SAGA 方法，将任务边界处训练的稀疏自编码器转换为对表示漂移的低秩局部约束，以缓解持续学习中的灾难性遗忘，并在三个 ViT-B/16 基准上取得最佳的 Class-IL 准确率与最低遗忘率。
纽约大学、谷歌研究院和康奈尔大学的一篇论文研究了语言模型能否在持续学习过程中，通过生成回放数据并选择要回放的先前任务来支持自身的自我保全。研究表明，基于任务库信息的自我回放能够减少 Qwen 模型对留出任务的遗忘。
该论文发现，在零初始化 LoRA 的 B 矩阵限制的参数池中，密度匹配的随机掩码在基于损失的遗忘指标上持续优于梯度归因选择，质疑了梯度归因额外反向传播开销的必要性。
本文提出SFT-as-context，一种两阶段推理方法：先用微调后的模型生成响应，再将该响应作为上下文喂给父模型。该方法在保留任务性能提升的同时，有效缓解了监督微调后通用能力的灾难性遗忘问题。
本文提出 HCPN-GCN，通过用图卷积网络替换线性特征提取器并引入锥形原型与多样性正则化，将分层原型网络扩展到持续图学习场景，在六个基准上以约 30 倍更少的原子原型实现更高准确率和接近零的遗忘。
该论文定位了LLM持续预训练/微调中灾难性遗忘的根源——语料库中罕见词元的输出嵌入，并提出仅提升输出投影层Adam ε值的单行优化器改动，在160M至12B参数规模上消除了39.4%至67.9%的遗忘且不损害目标学习。
一项实证研究，探讨在阿拉伯语和英语中将成人 ASR 模型适配到儿童语音同时保持成人性能的方法，对比了微调、LoRA 和权重空间融合（LERP/TIES）等技术，发现双语适配与权重融合能够改善适配与保持之间的权衡。
本文提出CLEAN增量认知诊断框架，采用架构隔离策略——对历史诊断函数进行冻结并施加正交列掩码，同时引入可扩展的满秩分支——从而在概念空间扩展时实现零表征漂移与心理测量一致性。
PaLoRA 提出了一种面向 LoRA 的持续学习的渐进式低秩自适应方法，推导出一种最优的自适应渐进律，使梯度步长与累积知识的有效秩成比例缩放。该方法结合了自适应 SVD 截断、零空间梯度投影和秩感知渐进机制，在多个基准上取得一致提升，包括在 50 任务 ImageNet-A 和 ImageNet-R 基准上将准确率提升 4%。
论文提出了一种面向动态系统重建的参数隔离型持续学习方法——持续可回收单元门控（Continually-Recyclable Unit-Gating，CRUG），该方法利用L0正则化的可微门控机制在任务之间分配与回收单元，在非线性系统和混沌系统上实现了零遗忘，并在重建能力与持续学习之间取得了良好的权衡。
论文提出 Local Support Learning（LSL），一种在无需访问历史数据的情况下缓解大模型灾难性遗忘的框架，通过 GMM 门控函数使权重适配器只在自身训练分布的输入上激活，从而在最多 7B 参数的 LLM 上同时保留预训练与微调能力。
一篇新论文提出了 TMLN（轨迹调制式地形导航）方法，将持续学习视为在弯曲损失地形上的最优控制问题，利用对角经验 Fisher 信息矩阵以及基于轨迹的梯度预条件化，在无需附加正则化惩罚项的情况下缓解灾难性遗忘。
本文介绍EoupCT，一种通过估计并正交化未知预训练梯度来缓解大型语言模型持续微调中灾难性遗忘的新颖框架。