标签
UC Berkeley 的一项研究发现，定期丢弃历史并从最佳结果重新开始的 Agent，比并行 Agent 表现高出最多 15%；文章还引用了 Microsoft 的 Fork-and-Flush 以及 Drew Breunig 提出的"上下文惯性"概念，来探讨跨上下文重置应该保留哪些状态这一开放问题。
H2DF 提出了一种面向语言模型遗忘的校准目标区间目标函数：当遗忘损失达到依赖数据的目标区间时，即限制梯度上升的压力。在 TOFU 数据集上，其性能与 GradDiff 相当，同时使用的保留数据回放量大幅减少；在 MUSE-News 上，其保留性能也优于 GA 和 NPO。
提出 First Passage Attention（FPA），将注意力遗忘机制从路径求和改为路径极值，把 Forgetting Transformer 作为特例纳入其中，并在 110M 语言模型上实现了 8 倍训练长度下的完美 passkey 检索。
这篇论文提出"relearning savings"评估协议，发现在Qwen2.5-1.5B中，曾学习过的事实绑定在部分遗忘后比从未学习的绑定更容易被重新习得，恢复所需优化步数减少约18%，说明当前行为准确率会低估既有经验的持久影响。
UC Berkeley 的研究者发现，当研究型智能体固守自身历史时，扩展 LLM 研究智能体会陷入停滞；他们提出定期丢弃会话状态、从最优候选重新开始的「遗忘」方法，在相同预算下相比并行智能体可提升多达 15%，相比单个智能体可提升 39%。
该论文研究了策略内自蒸馏（OPSD）在大语言模型（LLM）自我改进过程中导致已有能力退化的问题，发现这种退化与隐藏表示几何结构恶化（簇内紧凑性和簇间分离度下降）相关，并提出表示几何正则化（RGR）方法，在不改变原有优化流程的情况下有效缓解能力退化。
该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。
本文研究流式说话人分离模型（Streaming Sortformer v2）在小数据适配时出现的'看似提升实则遗忘'现象，揭示聚合指标（DER）掩盖的身份一致性退化，并探讨rehearsal在恢复与跨域迁移之间的权衡。
该论文研究语言模型的自我保存能力，通过构建任务库（Task Banks）引导冻结模型生成回放数据，在Qwen系列模型上的实验表明，生成式回放能减少持续学习中的遗忘，且模型在部分场景下可自主选择回放目标以保护自身能力。
本文推导出学习一个 token 如何改变另一项预测的、统一的 token 级与层级分解，将数据归因、灾难性遗忘和可塑性损失统一为同一随时间演化更新-行为交互的不同形态。该分解给出了可前向计算的近似方法，从而支持跨模型与跨训练策略的数据选择、干扰控制以及对未来可学习性的诊断。
本文提出了一个基准和一个多智能体系统，旨在通过多轮人类反馈改进科学图表生成，解决了质量漂移和跨修订遗忘等问题。
这篇文章比较了冻结语言模型的离散和连续内存适配器，发现像EPMem这样的二进制掩码方法与连续方法一样容易忘记事实，强调写入/分配规则而非离散性是防止忘记的关键。
ForgetBench 引入了一个基准测试，用于系统地表征大型语言模型在持续知识编辑下的遗忘行为，通过基于概念和场景的问答来衡量时间衰减和保留动态。
该论文介绍了 MoFO，一种动量过滤优化器，通过仅更新具有大动量幅值的参数来缓解 LLM 微调中的遗忘问题，无需额外存储即可保留预训练知识。
斯坦福大学提出AutoMem方法，通过让模型学会管理记忆（选择性遗忘）而非扩大参数，使320亿参数小模型性能翻倍并追平顶级大模型，揭示了记忆管理比模型规模更重要。
本文提出了一种因果审计框架，通过在推理过程中改变数据库状态来评估有限记忆语言模型中的遗忘情况，发现参数泄漏可忽略不计，删除后的正确性主要源于检索伪影而非残留的参数记忆。
本文介绍了Fora（函数空间正交残差适应），一种在微调过程中通过将更新投影到从激活导出的函数空间方向而非权重空间方向来保护现有能力的方法。在Qwen3-1.7B上的实验表明，在保持翻译和数学能力方面，它优于权重空间投影和标准正则化。
本文介绍ReRULE，一种用于LLM强化遗忘的离策略回放方法，在RWKU和MUSE等基准测试中提高了遗忘与保留效率。