权重遗忘，工具恢复：LLM智能体的Agentic Tool Unlearning (ATU)

# 权重中遗忘，工具中恢复：面向LLM智能体的智能工具遗忘方法  
来源：https://arxiv.org/html/2608.21544  
Zheyuan Liu¹¹脚注标记：1 affiliation：香港中文大学（深圳）、圣母大学，Jingyu Zhang、Kaize Ding、Ningshan Ma affiliation：约翰霍普金斯大学、西北大学、MIT [email protected] [email protected] Yue Huang affiliation：香港中文大学（深圳）、圣母大学，Meng Jiang affiliation：香港中文大学（深圳）、圣母大学  

###### 摘要  
大型语言模型（LLMs）正日益作为工具增强型智能体被部署，其响应可能依赖于工具调用和外部观测，而非仅依赖模型参数。这为LLM遗忘评估带来了失配问题：现有遗忘方法可能抑制了直接的参数化回忆，但智能体仍可通过网络搜索、检索或数据库查询等工具恢复相同的遗忘目标。我们将这种失效模式称为**工具介导恢复**，并研究智能工具遗忘——该方法旨在同时减少参数化回忆和工具介导恢复，同时保留对保留知识的正常工具使用能力。为应对这一挑战，我们提出**智能工具遗忘（ATU）**，一个两阶段框架。第一阶段应用参数化知识遗忘以抑制直接回忆；第二阶段在模拟的工具增强环境中执行轨迹级强化学习，以惩罚目标寻址工具行为和最终答案泄露。在RWKU和MUSE数据集上、针对不同LLM架构的实验表明，ATU在目标遗忘与保留效用之间实现了更好的平衡，使遗忘在工具增强型智能体部署中更为稳健。¹¹¹代码已开源：[ATU (https://github.com/BaichengDanny/ATU)](https://github.com/BaichengDanny/ATU)  

## 1 引言  
参见图注  
图1：工具介导恢复示意图。经参数化遗忘的LLM无法回忆起被遗忘的答案，但当同一模型作为工具增强型智能体部署后，却能恢复该答案。  
大型语言模型（LLMs）正日益作为工具增强型智能体的策略核心，而非独立的文本生成器。通过调用工具，智能体能够将参数化知识与外部证据结合，并在响应用户请求时执行多步骤操作（Lewis等人 2020；Schick等人 2023；Yao等人 2023；Patil等人 2024）。这种工具增强范式提升了事实性、适应性和任务性能，但也改变了模型所能“知道”的边界。答案可能不再仅来自模型的内部权重，而是来自一个包含工具选择、工具执行、观测读取和最终响应生成的闭环轨迹。  

机器遗忘旨在从训练好的模型中移除指定信息的影响，同时保留无关能力（Nguyen等人 2025；Liu等人 2024a；Bourtoule等人 2021；Cao和Yang 2015）。对于LLMs，此问题的动机源于隐私、版权和安全考虑（Yao和Xu 2024；Liu等人 2025；Liu等人 2024b）。近期工作已开发出用于测量遗忘、泄露、效用和鲁棒性的方法和基准（Yao和Xu 2024；Maini等人 2024；Shi等人 2025；Jin等人 2024；Li等人 2024；Yan等人 2025）。基于优化的方法（如负偏好优化及其变体）提供了抑制不良参数化知识、同时减少效用崩溃的实用方法（Zhang等人 2024；Fan等人 2025）。  

然而，这些工作主要评估模型本身在独立推理下能否回忆或复现目标内容。在智能体部署中，这种参数化视角并不完整。即使模型不再从其权重中回忆起遗忘目标，它仍可能通过网络搜索或检索等外部工具恢复目标。我们将这种部署层面的失配称为**工具介导恢复**：工具增强型智能体通过工具观测重建遗忘知识，从而绕过参数化遗忘。因此，关键挑战在于减轻遗忘目标的直接回忆和工具介导恢复，同时保留用于保留知识的工具使用能力。简单地禁用工具并不可行，因为这会牺牲广泛的任务效用。  

为应对这一挑战，我们提出ATU，一个新颖的两阶段框架，将遗忘与工具增强型智能体部署对齐。具体而言，第一阶段应用参数化知识遗忘，以抑制对遗忘目标的直接回忆，同时保持对保留知识的性能。第二阶段在模拟的工具增强环境中，通过轨迹级强化学习进一步训练遗忘后的模型。该阶段对遗忘查询上的目标寻址工具行为和最终答案泄露进行惩罚，同时对保留查询上的正确且有益的工具使用进行奖励。通过这种方式，ATU同时针对泄漏的两个来源：残留的参数化回忆和工具介导恢复。  

我们的主要贡献总结如下：  
- • 我们识别了**工具介导恢复**，这是一种新的部署层面失配：工具增强型智能体在标准参数化遗忘后，仍能通过外部工具恢复被遗忘的知识。我们进一步阐述了在减轻直接回忆和工具介导恢复的同时保留正常工具使用的目标。  
- • 我们提出ATU，一个新颖的两阶段框架，将参数化知识遗忘与轨迹级智能体训练相结合，以抑制目标寻址工具行为，同时保留正常的工具使用。  
- • 跨不同LLM架构的大量实验和案例研究表明，ATU在工具增强型部署下改善了遗忘效果，同时保持了保留效用。  

## 2 相关工作  
##### LLM智能体安全  
基于LLM的智能体将语言模型转变为能够规划、调用工具、观察外部状态并执行多步操作的交互系统（Yao等人 2023）。这产生了超出标准聊天机器人场景的安全风险，包括自我改进的错误演化（Shao等人 2026）、CBRN决策失败（Xu等人 2025）、提示注入（Zhan等人 2024；Debenedetti等人 2024；Bai等人 2026）以及故障传播（tse Huang等人 2025；Hammond等人 2025；Cemri等人 2025）。这些研究表明，智能体安全依赖于完整的交互轨迹，包括记忆、工具和协议，而不仅仅是基础模型的响应策略。  

##### LLM遗忘  
对于LLM遗忘，先前工作研究了多样化的遗忘目标，包括私有数据（Jin等人 2024）、受版权保护的内容（Shi等人 2025）、危险知识（Li等人 2024）以及在遗忘-保留基准下的更广泛概念（Yao和Xu 2024；Eldan和Russinovich 2023；Jang等人 2023；Maini等人 2024）。现有方法通过基于梯度的更新（Jang等人 2023）、无信息响应调优（Eldan和Russinovich 2023）或偏好优化（Zhang等人 2024；Fan等人 2025）来抑制目标知识，但它们主要评估独立模型输出，未解决智能体部署中的工具介导恢复问题。  

密切相关的工作，如工具遗忘（ToolDelete）（Cheng和Amiri 2025）和智能体遗忘（Agentic Unlearning）（Wang等人 2026），要么将工具本身作为遗忘目标，要么从模型参数和持久性记忆中移除目标信息，使得通过合法外部工具恢复被遗忘知识的问题仍未得到充分探索。相比之下，ATU保留了通用工具访问权限，并训练模型以减轻工具介导的遗忘目标恢复。  

## 3 动机  
图2：智能工具遗忘的动机。标准参数化遗忘（NPO）在独立推理中降低了遗忘集分数，但当相同的遗忘后模型作为工具增强型智能体部署时，却能恢复大量被遗忘的知识。  
参见图注  
图3：ATU概述。第1阶段在遗忘和保留数据上应用参数化知识遗忘，以抑制直接回忆，同时保留效用。第2阶段在模拟的工具增强环境中训练遗忘后的模型，轨迹级奖励对知识恢复和最终答案泄露进行惩罚，同时鼓励适当的工具使用。模型通过GRPO更新，以减少参数化回忆和工具介导恢复。  

标准LLM遗忘通常在独立推理设置中进行评估，即遗忘后的模型在没有外部工具的情况下直接回答。然而，这种设置并未反映下游智能体部署，用户可能将发布的模型与网络搜索、数据库查询或文档检索等工具包装使用。在这种情况下，模型无需在其参数中保留被遗忘的知识，它只需调用工具、读取观测，并在最终响应中复制恢复的信息。图2说明了这一差距。在独立推理下，使用NPO的标准参数化遗忘将遗忘集分数从MUSE（Books）的37.9降至9.7，从RWKU的57.7降至44.6。然而，当相同的遗忘后模型作为工具增强型智能体部署时，分数分别上升至29.8和68.6。这表明，工具使用可以恢复在独立遗忘评估中看似被抑制的知识。这些分数接近相应基础模型智能体的分数，表明工具使用可以实质性地恢复模型参数中被抑制的知识。  

这种量化差距揭示了参数化遗忘与智能体部署之间的失配。尽管标准遗忘降低了独立推理下的遗忘集分数，但一旦工具可用，相同的遗忘后模型仍可恢复目标知识。因此，仅基于LLM直接输出评估的遗忘可能高估了其在下游智能体环境中的鲁棒性。对于工具增强型智能体，遗忘不仅需处理参数化回忆，还需处理工具介导恢复。这激发了我们的两阶段框架：第1阶段抑制直接回忆，第2阶段惩罚目标恢复轨迹，并在保留知识上保留适当的工具使用。  

## 4 初步知识  
##### 威胁模型  
我们考虑面向下游智能体部署的提供商侧遗忘场景。防御者是模型提供商，能够微调并发布一个针对遗忘目标的LLM遗忘版本，但无法控制其发布后的部署。攻击者是下游部署者，将发布的模型包装为工具增强型智能体，控制提示和可用工具，并试图通过工具使用恢复被遗忘的目标。如果最终响应揭示了目标（无论来自残留的参数化知识还是工具观测），则工具介导恢复成功。因此，防御者旨在抑制攻击者控制的工具部署下的目标特定泄漏，同时在保留查询上保留正常的知识和工具使用能力。  

##### 问题形式化  
令πθ表示已发布的LLM策略。对于遗忘目标c，我们构建一个遗忘集F⁡(c)、一个同域保留集Rsame(c)和一个跨域保留集Rother。F⁡(c)包含待移除的目标特定事实，Rsame(c)包含来自同一领域的相关但非遗忘知识，Rother包含保留广泛能力（如工具使用）的通用效用示例。发布后，模型部署在攻击者控制的智能体环境E中，工具集为TE。给定查询x，模型与E交互并产生轨迹τ=(x,a1,o1,...,aK,oK,y)，(1)其中ak表示工具调用或最终答案动作，ok表示相应的工具观测，y为最终响应。我们从y测量泄漏，因为我们的目标是测试已发布的模型是否将工具作为恢复渠道。防御者旨在学习一个遗忘策略πθ⋆，该策略在工具增强型部署下最小化目标泄漏，同时在保留查询上保持效用。  

## 5 方法  
我们提出一个用于ATU的两阶段框架，如图3所示。给定基础LLMπθ0和遗忘目标c，我们的目标是获得一个遗忘模型πθ⋆，该模型能同时抑制参数化回忆和工具介导恢复。  
第1阶段在遗忘-保留数据上应用参数化知识遗忘，第2阶段在模拟的工具增强环境中通过轨迹级强化学习进一步训练模型。这些阶段旨在减少遗忘知识泄漏，同时保留保留效用和正常的工具使用。  

### 5.1 第1阶段：参数化知识遗忘  
第一阶段从模型参数中抑制对遗忘目标的直接知识。令F⁡(c)表示遗忘集，R=Rsame(c)∪Rother表示保留集。我们优化一个通用的知识遗忘目标：  
θ1=arg⁡minθLKU(θ,F⁡(c),R)，(2)  
其中LKU可通过现有LLM遗忘方法实例化，例如基于梯度的遗忘、拒绝调整、损失调整或偏好优化目标。每种方法都使用基准特定的遗忘和保留数据进行训练。