基于ERASE的动态遗忘机制无需显式去学习

# 无需显式遗忘的即时遗忘机制：ERASE  
来源：https://arxiv.org/html/2609.05966  
Mayank Baranwal ([email protected])  
隶属于：塔塔咨询服务研究部，孟买  
隶属于：印度理工学院孟买分校  

###### 摘要  
现有的遗忘方法通常依赖事后权重调整或知识蒸馏，导致内存成本翻倍、泛化能力下降且可扩展性有限。本研究提出ERASE（基于重构性对抗信号编辑的擦除框架），这是一种无需修改模型权重即可在推理过程中抑制私有数据可见影响的即时遗忘框架。ERASE利用结构化、类别条件的输入扰动，在推理时诱导选择性遗忘，从而免除了重新训练、微调或创建模型副本的需求。我们严格证明了在温和正则性假设下，ERASE可实现在同一超类中保留其他子类预测的同时，对指定子类达成可证明的功能性遗忘。在多种架构和基准数据集上的实验表明，ERASE在遗忘效能、计算效率和保留保真度之间达到了现有遗忘方法的最佳平衡。通过将数据移除重新定义为"无需遗忘机制的遗忘"，本研究为持续、隐私感知的学习建立了一种符合法规的可扩展路径。  

## 1 引言  
随着机器学习系统日益与敏感且持续演变的数据流交互，其"按需遗忘"的能力已成为隐私合规和适应性智能的基石。在医疗保健、个性化服务和用户生成平台等受监管领域，部署模型必须即时抑制过时或私有数据的影响（Li等人，2025），而非通过重新训练实现行为性遗忘。核心挑战在于确保模型在维护合法数据实用性的同时，不再基于受限数据进行操作。  

传统数据移除方法主要追求"结构性遗忘"，即通过显式修改模型参数来模拟在精简数据集上重新训练的效果。尽管该范式在理论上保证了完整性，但在需要即时响应隐私或删除请求的已部署系统中，其计算成本往往过高且操作不切实际（Nguyen等人，2022）。这类系统包括需要即时遗忘指令的设备端助手、受持续运行约束的金融欺诈检测器、在患者撤回同意后无法重新训练的认证医疗诊断系统，以及需要即时行为更新的在线游戏AI。  

因此，我们倡导一种互补的概念——"功能性遗忘"，其关注点不在于从权重中擦除知识，而在于防止知识在推理过程中显现。功能性遗忘将数据移除视为一种"行为约束"而非重新训练目标：模型保持参数完整，但在接收相关输入时表现得如同遗忘数据从未存在。这一视角符合现代持续运行AI系统的实时适应需求，同时保持其学习表征的稳定性。  

为实现这一概念，我们提出ERASE（基于重构性对抗信号编辑的擦除框架），该框架通过**输入空间调制**而非权重更新来实现遗忘。ERASE利用条件先验和对抗式信号编辑，选择性抑制与指定遗忘集相关的响应。通过在输入域直接诱导擦除，ERASE无需每次重新训练、微调或访问内部梯度，从而在资源受限环境中实现**即时合规性**。  

我们的主要贡献总结如下：  

1. **即时遗忘框架**。我们提出ERASE——一种新颖的**推理时遗忘**框架，使模型无需每次重新训练或梯度访问即可抑制私有数据的影响。ERASE专为部署场景设计，标志着从结构性遗忘向功能性遗忘的范式转变。  

2. **基于条件对抗扰动的选择性擦除**。ERASE引入**重构性对抗信号编辑**，这是一种由**预计算**条件先验引导的针对性输入空间扰动机制。该机制仅在必要时强制执行遗忘。  

3. **高效且可部署的隐私合规性**。我们的方法消除了重新训练或辅助模型的需求，实现了极致的计算效率。适用于模型更新不可行的环境。  

4. **理论洞见**。我们严格证明了在何种充分条件下，ERASE可证明遗忘目标子类，同时保留同一超类内其他子类的预测能力。  

5. **全面评估与洞察**。我们在多种模型架构和跨模态多样数据集上评估了ERASE。即使与依赖持续参数更新的方法相比，ERASE仍能在实现有竞争力的遗忘效果的同时显著提升保留保真度和部署效率。消融研究证实ERASE提供**定向遗忘**。  

> 图1：ERASE概览。离线阶段，从冻结模型中一次性计算子类特定的输入梯度先验，并存储为语义方向。在线阶段，这些先验被组合为遗忘方向和保留方向，其优化组合仅在输入被预测属于目标超类时有条件应用于推理时。这抑制了被遗忘的子类，同时保留相关同级子类及更广泛保留集的预测能力，无需微调主干模型。  

必须强调的是，我们的框架针对**判别模型的功能性遗忘**，在这类模型中参数修改既不可行也不可取。虽然生成式架构可能采用提示级过滤或防护机制实现类似目标，但此类机制在标准分类或识别管道中本质上不可用。ERASE正是为这些部署级隐私场景设计，其目标是隐藏遗忘数据的影响而非通过重新训练消除。  

## 2 相关工作  
机器学习中的数据移除研究主要围绕**机器遗忘**展开，其目标是通过**修改模型参数**消除指定训练样本的影响，使所得模型近似于在精简数据集上重新训练的结果。在此意义上，大多数先前工作指向我们所称的**结构性遗忘**：通过更新模型本身（无论是通过精确重计算、近似优化、蒸馏还是选择性重训练）实现知识移除。这一范式已产生重要的理论和实践进展，但仍根本性依赖于**训练时工作流**，因此带来不可忽视的计算、内存或部署开销（Nguyen等人，2022；Li等人，2025）。这些成本在需要即时响应隐私、监管或用户驱动移除请求且不能重新训练的持续运行系统中尤为受限。  

我们的研究基于不同目标：不通过参数更新强制删除，而是研究**功能性遗忘**——模型参数保持固定，仅在推理时诱导所需遗忘行为。这一区别至关重要：结构性遗忘试图从权重中移除信息，而功能性遗忘旨在防止该信息在下游预测中显现。这一框架尤其适用于已部署的判别模型，其中重新训练、微调或维护多个模型副本可能不切实际。在这一广阔图景中，以下先前工作类别展示了显式遗忘方法的演进，我们的方法在概念上扩展并操作上超越了这些方法。  

**精确与可证明遗忘**。最早的研究方向通过确保遗忘后模型与在保留数据上重新训练的模型相同或可证明接近来寻求强删除保证。此类保证仅在受限模型族或精心设计的管道中可实现，包括线性与逻辑回归、k-means和随机森林等设置（Ginart等人，2019；Mahadevan和Mathioudakis，2022）。可证明数据移除方法进一步提供了与精确重新训练偏差的可证明界（Guo等人，2020）。这些方法为可验证遗忘奠定了重要基础，但其假设和计算结构限制了其在现代深度模型和大规模部署场景中的适用性。  

**通过分块与聚合实现高效重训练**。第二个研究方向通过改变模型的初始训练方式来提高结构性遗忘的效率。分片、隔离、切片与聚合（SISA）训练（Bourtoule等人，2021）将数据集划分为分片，训练独立子模型并聚合其预测，使得遗忘仅需重新训练受影响分片而非整个系统。这降低了删除成本且具有模型无关性，但仍依赖于删除请求后的重新训练，并且可能因分片削弱跨分片信息共享而降低实用性。  

**基于影响逆转与优化的近似遗忘**。为了将遗忘扩展到精确方法之外，许多方法通过近似优化估计并逆转被遗忘样本的贡献。代表性技术包括影响函数（Koh和Liang，2017）、牛顿式移除更新（Guo等人，2020）以及基于梯度的遗忘目标（如遗忘集上的梯度上升）（Golatkar等人，2020；Graves等人，2021）。这些方法具有吸引力，因为它们可适配深度网络且通常比重训练快得多。然而，它们仍改变模型参数，且其近似性质可能留下被移除数据的残留痕迹，这些痕迹可能在成员推理攻击等隐私审计中可检测（Shokri等人，2017）。  

**修正性微调与表征级遗忘**。更近期的结构性遗忘方法执行针对性修正更新以抑制被遗忘信息。例如"遗忘性遗忘"（Graves等人，2021）应用抵消梯度信息，以及通过微调模型以模糊敏感内容的"数据损害"方法（Baumhauer等人，2022）。其他方法显式操作学习预测器的几何结构，例如将决策边界移离遗忘样本（Chen等人，2023），或通过掩蔽纠缠组件并约束知识迁移以减少被遗忘信息的重现（Lin等人，2023）。这些方法相对于朴素重训练提高了针对性，但仍依赖事后参数更新，且常引入额外的优化复杂性、辅助组件或验证挑战。  

**基于蒸馏与教师引导的遗忘**。相关方法族使用知识蒸馏解耦遗忘与保留目标。例如，Chundawat等人（2023）使用不胜任教师通过故意误导监督诱导遗忘，而Zhou等人（2025b）将蒸馏解耦为独立的遗忘和保留模块以减少两者间的干扰。基于蒸馏的方法可能有效，但通常需要额外的教师模型、重复训练程序或辅助模块，这增加了系统复杂性和资源消耗。  

**输入空间与基于扰动的遗忘/移除**。最近，一个密切相关的工作方向开始探索通过**输入空间干预**而非直接权重更新实现遗忘。PENG等人（2025）研究通过对抗生成器-遗忘者框架实现灾难性遗忘，该框架合成具有挑战性的混合样本来规范遗忘过程。与此同时，近期的按类遗忘方法表明，针对性或通用对抗扰动（UAP）可直接在输入层刺激遗忘行为，包括基于UAP的按类遗忘（Zhou等人，2025a）和在保持模型权重固定的同时驱动机器遗忘的输入无关"遗忘向量"（Sun等人，2024）。这些工作与我们的设置特别相关，因为它们将遗忘推向对抗性输入操控。  

我们的ERASE框架与这一新兴视角最为契合，但在几个重要方面有所不同。具体而言，ERASE为已部署判别模型执行**有条件的推理时遗忘**，并使用显式的遗忘/保留分解来保留同一超类内的同级子类。它也是层次感知和面向部署的，因为扰动仅在模型预测相关超类时激活。此外，ERASE提供了表征何时可同时实现针对性遗忘和保留的理论充分条件。  

需注意，PENG等人（2025）和Zhou等人（2025a）并非我们设置的直接基线，前者使用对抗生成器-遗忘者与合成混合样本，后者研究基于UAP的按类遗忘。ERASE则为已部署判别模型执行有条件的推理时功能性遗忘，并具有显式的遗忘-保留分解以保留同级子类。与先前主要围绕图像分类的基于扰动的遗忘工作不同，ERASE在多种模态上进行了评估，支持其超越视觉场景的适用性。近期LLM遗忘工作（如Li等人，2024；Wang等人，2025；Yuan等人，2025）针对生成式下一词预测模型、提示-响应行为或LLM表征引导，因此不在我们的判别超类-子类分类设置范围内。  

总体而言，现有文献...