unlearning

提出支持向量注意力（SV-Attention），一种可训练的最大间隔记忆，通过可逆增量求解器提供令牌的零权重认证选择和精确遗忘。它实现了改进的稀有项召回率和患者记录删除能力。

本文介绍了GRAM（梯度路由辅助模块），一种模块化预训练方法，通过选择性添加和消融模块来限制AI模型的双重用途能力，实现访问控制，并显示出相较于数据过滤的成本降低。

对跨视觉、语言、视频和音频的多模态遗忘方法、数据集和基准的综合综述，提供了分类法并强调了未解决问题。

本文提出了一种因果审计框架，通过在推理过程中改变数据库状态来评估有限记忆语言模型中的遗忘情况，发现参数泄漏可忽略不计，删除后的正确性主要源于检索伪影而非残留的参数记忆。

本文介绍了PSALM，一个LLM作为法官的框架，通过评估超越逐字记忆的风格和叙事挪用，来评估欧盟法律下的版权侵权，发现微调会引发系统性的风格相似性，且现有防护措施不足。

本文提出了PreUnlearn，一个在LLM遗忘执行前审计附带知识损害的框架，采用以数据为中心的分析来预测跨语义层的下游损害。

提出了一种多模态框架，用于从语音中公平地检测轻度认知障碍，通过梯度反转实现遗忘，以减少人口统计学偏差并提升各子群体的性能。

本文介绍ReRULE，一种用于LLM强化遗忘的离策略回放方法，在RWKU和MUSE等基准测试中提高了遗忘与保留效率。

该论文提出了NULLs（原生可遗忘的大语言模型），这是一种模型类别，它将特定来源的贡献隔离到稀疏激活的sinks中，同时共享骨干神经元，从而无需重新训练即可干净地遗忘单个数据源，并保持通用语言能力。

MLUBench 是一个大规模的多模态大语言模型终身遗忘基准，包含9个类别的127个实体。论文指出现有遗忘方法存在累积退化问题，并提出 LUMoE 来缓解此问题，显示出显著改进。

本文提出了零空间约束响应指定遗忘（NSRU），一种低秩框架，通过将正交投影的LoRA更新限制在保留子空间的零空间内，实现受控的大语言模型遗忘，同时保持其良性能力。

本文通过将TOFU基准扩展到五种语言，研究了LLMs中的多语言去学习。研究发现，去学习迁移因文字和语言家族而异，主要作用于后几层解码层，并且单个引导方向可以恢复跨语言被抑制的大部分知识。

本文介绍了GEM，一种面向Rectified Flow模型的概念擦除框架，它结合了基于轨迹的遗忘与教师引导的流匹配，实现了5倍更快且更安全的内容抑制，同时保留良性的生成能力。

本文认为，LLM中的遗忘应依赖于目标，提出了一种基于余弦的元学习RMU变体用于危险知识遗忘，以及一种结合探针方向的多层目标用于毒性遗忘，在四个7-8B模型上取得了显著效果。