标签
作者认为，由于AI的快速发展，重要知识应保存在家中的实体书籍和社区中，并建议政府应推广这一做法。
AI模型因训练数据不足和RLHF对齐问题，无法处理多调古希腊语，导致能力下降并影响古典学系，提出的解决方案包括RAG和基于语料库的系统。
文章提出了一种名为‘文明脚手架’的新框架，通过保存和利用人类知识来增强AI能力，无需修改模型权重，从而实现即时和递归改进。
AI公司秘密购买并销毁实体书籍以获取训练数据，将知识锁起来，而 Anna's Archive 正敦促志愿者扫描珍本书籍，以防止文化遗产损失。
TRACE 引入了一种两阶段课程，用于在企业级大语言模型中保持参数化工具知识，同时实现快速的单束贪婪解码，相比基线提高了准确率和召回率。
本论文引入注意力转移（Attention-Shifting, AS）框架，用于大语言模型的选择性机器遗忘，在有效移除敏感信息与防止幻觉和保持模型性能之间取得平衡。该方法采用重要性感知的注意力抑制和保留增强机制，在标准基准上相比现有遗忘方法实现了高达15%的准确度保持率提升。
本论文研究了监督微调（SFT）如何通过导致知识退化而增加大语言模型的幻觉问题，并提出了一种基于自蒸馏的方法来缓解这一问题，同时保留预训练阶段获得的既有事实知识。作者将语义干涉识别为SFT引起幻觉的主要机制，并演示了包括参数冻结和自蒸馏在内的解决方案。