标签
提出互补自蒸馏（SelfCI）方法，通过平衡效用与隐私来提升大语言模型的上下文完整性。在CI-RL和PrivacyLens基准测试上跨多个模型进行了评估。
本论文引入注意力转移（Attention-Shifting, AS）框架，用于大语言模型的选择性机器遗忘，在有效移除敏感信息与防止幻觉和保持模型性能之间取得平衡。该方法采用重要性感知的注意力抑制和保留增强机制，在标准基准上相比现有遗忘方法实现了高达15%的准确度保持率提升。