标签
AI公司秘密购买并销毁实体书籍以获取训练数据，将知识锁起来，而 Anna's Archive 正敦促志愿者扫描珍本书籍，以防止文化遗产损失。
TRACE 引入了一种两阶段课程，用于在企业级大语言模型中保持参数化工具知识，同时实现快速的单束贪婪解码，相比基线提高了准确率和召回率。
本论文引入注意力转移（Attention-Shifting, AS）框架，用于大语言模型的选择性机器遗忘，在有效移除敏感信息与防止幻觉和保持模型性能之间取得平衡。该方法采用重要性感知的注意力抑制和保留增强机制，在标准基准上相比现有遗忘方法实现了高达15%的准确度保持率提升。
本论文研究了监督微调（SFT）如何通过导致知识退化而增加大语言模型的幻觉问题，并提出了一种基于自蒸馏的方法来缓解这一问题，同时保留预训练阶段获得的既有事实知识。作者将语义干涉识别为SFT引起幻觉的主要机制，并演示了包括参数冻结和自蒸馏在内的解决方案。