knowledge-removal

本综述探讨了面向网络防御的大模型遗忘方法，引入了一个三级框架来区分行为抑制、表示级衰减和真正遗忘，并分析了基于梯度、基于影响和局部编辑的方法。

Anthropic 发表了关于 GRAM 的研究，该技术旨在从 AI 模型的权重层面精确移除危险知识，从而推动 AI 安全的发展。

本文认为，LLM中的遗忘应依赖于目标，提出了一种基于余弦的元学习RMU变体用于危险知识遗忘，以及一种结合探针方向的多层目标用于毒性遗忘，在四个7-8B模型上取得了显著效果。