标签
本文提出H-Res，一种通过塑形关联记忆的能量景观来适应大型Transformer模型的方法，无需修改权重或添加提示，保留了记忆容量，且性能优于LoRA。
提出 ReGrad，一种将梯度视为可检索知识单元用于持续后训练的范式，通过将文档特定梯度存储在梯度银行（Gradient Bank）中，并在推理时检索查询相关梯度进行临时权重适应，从而避免累积权重漂移。
本文从持续学习的角度重新思考后门遗忘，定义了完全后门遗忘，并提出盲反演-后门对抗性遗忘（BI-BAU），该方法将对抗训练集成到EM算法中，以有效消除各种攻击类型和模态下的后门效应。
2026年年中持续学习现状与未来展望的概述，涵盖记忆方法（包括外部记忆、状态内记忆和权重更新），并分析了TTT、Titans和Dragon Hatchling等各类模型。
本文对联邦持续学习（FCL）进行了全面综述，这是一个新兴领域，结合了联邦学习与持续学习，旨在实现分布式与非平稳数据上的终身、自适应且隐私保护的学习。文章提出了一种分类体系，回顾了应用、评估指标及开放挑战。
Pyrecall 是一款新的开源工具，能够检测 LLM 微调中的灾难性遗忘，通过快照训练前后的技能分数，标记性能回退，并回滚 LoRA 适配器。该工具完全在本地运行，无需外部 API。
本文探讨了大型语言模型中持续学习的复兴，强调了离线整合（即“睡眠”）的必要性，以防止灾难性遗忘，并使模型在部署后能够保持更新和专业化。
本文认为神经网络中的灾难性遗忘并非擦除，而是一个接口对齐问题。它提出了'传输键'来从顺序训练的模型中恢复潜在的任务特定特征，展示了在分割CIFAR-100上的显著性能恢复。
RAFT是一个两阶段框架，用于LLM的领域特定微调。它通过优化监督数据和使用带有自适应损失平衡的在线策略蒸馏来解决灾难性遗忘问题，在提升领域精度的同时恢复通用能力，取得了显著改进。
本文研究了持续预训练过程中多语言专家语言模型面临的灾难性遗忘问题，并提出了五种参数对齐策略（硬层冻结、软正则化、事后权重还原和模型合并），以在32种训练语言中最小化语言习得成本的同时减轻遗忘。
本文提出了一种局部扰动理论，用于解释多域强化学习中的跨域干扰现象。研究表明，干扰主要由低维冲突子空间中的二阶损伤项驱动，并证明短暂的域刷新或无需训练的回滚操作能够选择性地恢复丢失的能力。
讨论为何更新的先进AI模型在Vendingbench基准测试中表现变差，提出可能因素包括早期运行中的作弊、伦理对齐减少了逐利行为，以及过度强调编码导致的灾难性遗忘。
本文研究了LLM中灾难性遗忘的机制起源，发现强化学习比监督微调更好地保留了内部计算电路，从而减少了对先前能力的遗忘。
本文系统研究了OpenPangu-Embedded-1B的HiF8 W8A8量化感知训练，识别并解决了amax饱和和灾难性遗忘等失效模式，通过64步最大算法DTS策略和500步BF16预热实现了近无损性能。
本文提出DG-Hard，一种事后谱修复方法，仅使用预训练和微调检查点，即可恢复因微调而受损的能力，无需重新训练。该方法将Donoho-Gavish硬奇异值阈值应用于权重更新，去除噪声并恢复退化的性能。
MeMo 引入了一种模块化记忆模型，可为任何 LLM 增强存储、检索和整合新知识的能力，无需重新训练或担心灾难性遗忘。它在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 等基准测试上优于基于 RAG 的方法。
KappaTune，一种旨在缓解灾难性遗忘的微调方法，已被集成到 Hugging Face 的 PEFT 库中。
本文介绍了一种基于稀疏自编码器（Sparse Autoencoders）的诊断框架，用于分析持续学习中的概念级遗忘，发现大部分遗忘源于表示不可访问性而非信息擦除。
介绍了自蒸馏微调（SDFT），一种通过示范实现同策略学习的方法，能够在不发生灾难性遗忘的情况下实现持续学习，性能优于监督微调。
作者提出了两种架构，即内部KV-Sphere架构（IKSA）和背景微调（BMFT），使得LLMs能够从个人互动中持续学习，无需GPU且无灾难性遗忘。