大语言模型真的能遗忘吗？通过对抗性评估揭示遗忘差距

# 大语言模型真的能遗忘吗？通过对抗性评估揭示机器遗忘的差距  
来源：https://arxiv.org/html/2608.21606  

Hima Varshini Surisetty  
Sreevidya Bollineni  
Varad Ingale  
Tuhina Tripathi  
Abhishek Lalwani  
隶属机构：马萨诸塞大学阿默斯特分校、微软公司  
\{ayushanilgup, hsurisetty, sreevidyabol, vingale, ttripathi\}@umsas\.edu  
\{alalwani, sharmasomya, sadidhasan\}@microsoft\.com  

Somya Chatterjee  
隶属机构：马萨诸塞大学阿默斯特分校、微软公司  
\{ayushanilgup, hsurisetty, sreevidyabol, vingale, ttripathi\}@umsas\.edu  
\{alalwani, sharmasomya, sadidhasan\}@microsoft\.com  

Sadid Hasan  
隶属机构：马萨诸塞大学阿默斯特分校、微软公司  
\{ayushanilgup, hsurisetty, sreevidyabol, vingale, ttripathi\}@umsas\.edu  
\{alalwani, sharmasomya, sadidhasan\}@microsoft\.com  

###### 摘要  
机器遗忘旨在从模型中移除目标训练数据的影响，同时保留其剩余能力，但评估这些信息是否真正变得不可用仍然具有挑战性。现有基准主要在干净、非对抗性查询下评估遗忘效果，留下了关于通过策略性提示是否仍能恢复看似已遗忘信息的疑问。我们通过在TOFU数据集上使用Llama\-3\.2\-3B\-Instruct对基于提示和基于微调的遗忘方法进行统一评估，并对在标准指标下表现优异的方法进行对抗性鲁棒性评估，从而解决了这一差距。我们引入了攻击成功率（ASR），这是一种基于LLM作为评判者的指标，衡量对抗性响应中泄漏分数超过0\.2的比例，并在八种攻击套件中评估恢复效果。我们的结果揭示了干净查询遗忘与对抗性鲁棒性之间存在显著差距。尽管一些基于微调的方法在遗忘质量上超过0\.91，但目标信息仍可通过ASR介于72\.8\%到84\.3\%之间的攻击恢复，接近未受保护基础模型87\.5\%的ASR。相比之下，干净的多语言重述仅产生2\.95\%的测量泄漏。人工审计进一步发现，在十种情况中有七种二进制ASR决策与人工事实评估一致，表明ASR提供了行为可恢复性的有用但不完美的信号。这些发现表明，仅在标准指标上表现优异不足以建立遗忘后的鲁棒性，并推动将对抗性压力测试作为遗忘评估的补充组成部分。  

††脚注文本：*共同贡献  

## 1 引言  
大型语言模型（LLMs）在包含敏感、专有过时或有害信息的广泛数据集上进行训练。一旦这些信息被整合到模型参数中，可能难以在不重新训练模型的情况下移除，从而对隐私、监管合规性和语言模型的负责任部署带来关键挑战。机器遗忘旨在解决相关技术问题，即修改已训练的模型，使其在指定数据上的行为类似于从未在该数据上训练过的模型，同时保留其在应保留信息上的性能。机器遗忘研究中的一个核心假设是，在标准基准指标上的强性能表明目标知识已变得不可访问。然而，这些评估通常使用干净、非对抗性的查询进行，因此没有测试相同信息是否可以通过策略性提示恢复。模型在标准评估下可能显得已忘记目标，但在响应重述、角色扮演指令、提示注入、知识路由或其他对抗性表述时仍可能泄露该信息。尽管已有多种用于大型语言模型机器遗忘的方法被提出，但先前的工作往往在模型架构、数据集、遗忘目标和评估指标各不相同的方法特定设置下评估方法。例如，基于提示的方法如ICUL和SPUL在推理时表述和任务特定遗忘效用度量下进行评估，而基于微调的方法如NPO通常通过参数更新和基准特定的遗忘与保留效用度量进行评估。当前方法大致分为两类：*基于提示的缓解方法*，尝试在推理时抑制目标知识而不修改模型参数，以及*基于微调的方法*，改变模型权重或内部表示以减少模型复制该知识的能力。由于这些范式通常在不同的评估协议下进行评估，其报告的性能可能不可直接比较。因此，我们在共享框架下评估两个家族中的代表性方法，以确定在统一和对抗性评估下其表观遗忘性能如何变化。  

为了填补这一差距，我们首先使用四个OpenUnlearning指标在统一框架下比较基于提示和基于微调的方法。该评估检查了不同遗忘划分下的遗忘效能、效用保留和隐私泄漏。然后，我们对四个基于微调的方法进行对抗性压力测试，因为基于提示的方法随着遗忘集大小的增加，其遗忘质量降至接近零，因此在成功干净查询遗忘后无法提供评估鲁棒性的有意义基础。该分析使我们能够确定在标准评估下表现优异的方法是否仍然容易受到针对信息的策略性恢复。我们的实验在TOFU（虚构遗忘任务）数据集上进行，这是一个受控基准，包含合成作者传记和问答示例对。这允许我们定义包含待移除信息的*遗忘集*和包含待保留信息的*保留集*，并有预定义的1\%、5\%和10\%遗忘划分。由于目标信息被明确定义，所有方法都从在完整TOFU数据集上微调的同一检查点开始，因此每种方法都在相同训练设置下从暴露于遗忘集信息的模型进行评估，从而实现更清晰的跨方法比较。我们将所有遗忘方法应用于同一TOFU微调的Llama\-3\.2\-3B\-Instruct检查点，并使用OpenUnlearning框架进行评估，该框架提供了一组涵盖遗忘效能、效用保留和隐私泄漏的统一指标。我们的主要贡献是证明*高遗忘质量可能产生虚假的安全感*，即现有干净查询指标未能捕捉在对抗性提示下看似已遗忘的信息是否仍然可恢复。我们使用攻击成功率（ASR）来衡量这一差距，这是一种基于LLM作为评判者的指标，对在对抗性条件下恢复的遗忘集问题的人类可读、事实正确的答案进行评分。为了评估评判者是否捕捉到超越表面词汇重叠的实质性信息泄漏，我们将评分与所有来自四个基于微调方法的1,280个对抗性响应中的ROUGE\-L进行比较，获得强皮尔逊相关系数r=0\.924。我们还确定了27个高评判者、低ROUGE的分歧案例，表明即使在与参考答案词汇重叠有限的情况下，评判者也能分配高泄漏分数。由于仅此分析本身并未建立每个分歧对应事实正确的恢复，我们补充了十个人工对抗性响应的手动审计。审计发现自动化决策与人工事实评估在七种情况下一致，表明ASR提供了有意义（尽管不完美）的对抗性知识恢复信号。第二个贡献是统一的跨范式评估，表明作者报告的令牌级指标可能显著高估基于提示方法的表观有效性，掩盖其在遗忘集扩展时遗忘质量的崩溃。第三个贡献是全面的对抗性和多语言鲁棒性评估，表明在干净查询评估下的强性能不足以确保对策略性知识恢复的抵抗。具体而言，我们旨在回答以下研究问题：  

RQ1：在严格、统一的评估下，基于提示和基于微调的遗忘方法在遗忘效能和效用保留方面如何比较？  

RQ2：对抗性和多语言查询能在多大程度上恢复被标准干净查询指标分类为成功遗忘的信息，以及ASR如何相对于遗忘质量表征这种可恢复性？  

## 2 相关工作  
随着研究人员寻求在不重新训练模型的情况下减少敏感、有害或其它目标信息的影响，机器遗忘在大型语言模型中受到了越来越多的关注。现有方法大致分为两个家族：在推理时操作而不修改模型参数的基于提示的缓解方法，以及更新模型权重或内部表示的基于微调的方法。我们在讨论研究看似已遗忘的知识是否仍然可恢复的对抗性评估之前，围绕这两个家族组织相关工作。几种最近的方法试图在不修改模型权重的情况下实现遗忘。12号文献引入了上下文内遗忘（ICUL），它将语言模型视为少样本遗忘器，通过在提示前附加精心构建的“遗忘”示例和锚定演示。这种方法计算效率高，但受限于模型的上下文窗口，并且需要目标信息在提示中显式出现。1号文献提出了用于遗忘的软提示（SPUL），它学习一组小型软提示嵌入，引导模型远离生成目标信息，同时保持基础模型参数冻结。在我们的工作中，我们在统一的干净查询框架下评估ICUL和SPUL以及基于微调的方法，以在相同实验条件下比较它们的遗忘行为。另一类方法修改模型参数或内部表示，以减少模型复制目标信息的能力。早期的基于微调的方法将梯度上升应用于最大化遗忘集样本的损失，但这种激进的更新可能显著降低模型的保留能力。15号文献提出了负偏好优化（NPO），它相对于参考模型惩罚遗忘集响应，提供了比梯度上升更稳定的替代方案。5号文献引入了简单负偏好优化（SimNPO），它简化了偏好优化目标，同时同样抑制目标响应的生成。7号文献提出了用于遗忘的表示重定向（RMU），它重定向与遗忘集样本相关的内部表示，同时约束在保留数据上的变化。10号文献引入了替代偏好优化（AltPO），它将针对目标响应的负反馈与针对合理替代响应的正反馈相结合，以减少退化生成。我们在TOFU基准上使用OpenUnlearning框架评估NPO、SimNPO、RMU和AltPO，所有方法使用相同的模型检查点、数据集划分和评估指标。  

越来越多的工作已经检查了机器遗忘针对的信息是否在对抗性提示下仍然可恢复。13号文献提出了REBEL，它使用辅助“黑客”语言模型迭代生成越狱提示，旨在从未遗忘模型中恢复目标知识。他们在TOFU和WMDP基准上的实验表明，即使在达到标准遗忘评估下的强性能后，模型仍然容易受到对抗性恢复的攻击。基于这项工作，我们使用八种攻击套件（角色扮演、权威、系统注入、直接、假设、多项选择、结构化思维链和完成）评估基于微调方法的REBEL式攻击。我们还进行了多语言探测，以检查是否可以通过跨语言查询恢复目标信息。总体而言，先前的工作提出了广泛的遗忘方法，但这些方法通常使用不同的模型、数据集、指标和实验设置独立评估。我们通过在共享模型检查点、数据集划分和评估框架下比较基于提示和基于微调的方法来解决这一差距。然后，我们通过将四个基于微调的方法置于对抗性和多语言探测下，以检查在替代查询条件下，看似在标准评估下已遗忘的信息是否仍然可恢复，从而扩展比较。  

## 3 方法  

### 3\.1 统一基准测试  
参考标题图1：用于比较基于提示和基于微调的遗忘方法在通用实验设置下的统一基准测试流程。我们的方法分为三个阶段：准备、遗忘和评估，如图1所示。  

#### 准备：我们选择Llama\-3\.2\-3B\-Instruct作为基础语言模型，因为它提供了一个开放权重、指令微调的实用规模模型，并且直接在OpenUnlearning TOFU基准测试框架中得到支持。其规模也使得跨多种方法的重复微调、遗忘和对抗性评估在计算上可行。我们在完整的TOFU数据集上对其进行微调，使模型暴露于与所有200位虚构作者相关的信息。由此产生的微调检查点作为所有遗忘实验的通用起点。  

#### 遗忘：我们评估六种遗忘方法，分为两个家族。第一个家族包括保持模型参数不变的基于提示的方法。SPUL使用组合遗忘损失和保留KL散度损失优化一组小型软提示向量。ICUL通过在查询模型之前构建包含正确保留示例和对遗忘集问题的错误答案的上下文内演示，在推理时执行遗忘。