标签
本文提出了零空间约束响应指定遗忘（NSRU），一种低秩框架，通过将正交投影的LoRA更新限制在保留子空间的零空间内，实现受控的大语言模型遗忘，同时保持其良性能力。
本文通过将TOFU基准扩展到五种语言，研究了LLMs中的多语言去学习。研究发现，去学习迁移因文字和语言家族而异，主要作用于后几层解码层，并且单个引导方向可以恢复跨语言被抑制的大部分知识。