论文页面 - MAAT：多阶段适配器感知的目标遗忘

来源：https://huggingface.co/papers/2605.30514

MAAT 提出了一种结构化的 LoRA 适配器遗忘流程，并搭配了 5WBENCH（一个平衡的 5W 基准测试），揭示了因果性的“为什么”知识因包含长多跳答案链和梯度稀释而尤其难以遗忘——并非因为它在逐层编码上具有独特分布。

➡️ MAAT 与 5WBENCH 的关键亮点：

🧪 平衡的 5W 遗忘基准测试 (5WBENCH)：引入了一个 5000 样本的基准测试，其中 Who、What、When、Where 和 Why 各占 1000 个示例，暴露了现有遗忘数据集中的一个重大盲区——Why 类型的因果问题几乎缺失，例如在 CounterFact 中占比 <0.06%，在 ZSRE 中占比 0.6%。

🧩 因果知识失败诊断：表明 Why 类型的事实更难遗忘，因为它们的答案跨度更长（平均 40.1 个 token），并且多跳推理结构更多（44%，而其他类别 ≤2%），这使得梯度上升信号分散在分散的因果链上。

🧠 MAAT：多阶段适配器感知的目标遗忘：提出了一种三阶段的仅 LoRA 遗忘方法：梯度投影上升以避免保留梯度的干扰；仅 MLP 的 SVD 秩维度剪枝加上基于遗忘得分的任务向量求反；混合 KL/隐藏状态保留修复与熵正则化，以防止重新学习被遗忘的事实。

技术新颖点：关键的架构举措是将 LoRA 适配器视为结构化的秩空间，而非平坦的参数增量。MAAT 根据遗忘集的激活/梯度相关性对适配器秩维度进行评分，仅剪枝或求反最与遗忘相关的子空间，并修复保留行为，而无需合并或修改冻结的基模型。

为何能推动进展：在 5WBENCH 上，MAAT 达到了比基线更强的遗忘-保留操作点：在 Llama 3.2-3B 上，平均遗忘成功率达 77.4%，保留成功率达 71.6%，同时在遗忘效果与 RO-FT 相当的情况下，保留成功率提升了 +36.4 个百分点。它也是目前唯一一种在所有五个 5W 类别（包括 Why 类型因果知识）上均超过 60% 遗忘成功率和 60% 保留成功率的报告方法。