unlearning

本文通过将TOFU基准扩展到五种语言，研究了LLMs中的多语言去学习。研究发现，去学习迁移因文字和语言家族而异，主要作用于后几层解码层，并且单个引导方向可以恢复跨语言被抑制的大部分知识。

本文介绍了GEM，一种面向Rectified Flow模型的概念擦除框架，它结合了基于轨迹的遗忘与教师引导的流匹配，实现了5倍更快且更安全的内容抑制，同时保留良性的生成能力。

本文认为，LLM中的遗忘应依赖于目标，提出了一种基于余弦的元学习RMU变体用于危险知识遗忘，以及一种结合探针方向的多层目标用于毒性遗忘，在四个7-8B模型上取得了显著效果。