标签
该论文研究在数据筛选(如去重)之后实现精确机器遗忘的问题,提出了一种“保留契约”,说明服务需要保留哪些信息才能在删除请求后精确复现训练过程,并在AskUbuntu数据集上验证了精确成员资格修复的有效性。
提出 PFDF,一种基于路径依赖的联邦遗忘客户端选择框架,通过 CLP 加权历史记录筛选出与目标客户端弱耦合但全局信息量大的保留客户端,以更少的通信和计算成本实现高效遗忘。
H2DF 提出了一种面向语言模型遗忘的校准目标区间目标函数:当遗忘损失达到依赖数据的目标区间时,即限制梯度上升的压力。在 TOFU 数据集上,其性能与 GradDiff 相当,同时使用的保留数据回放量大幅减少;在 MUSE-News 上,其保留性能也优于 GA 和 NPO。
论文提出正交边界遗忘(OBU)框架,通过将参数更新限制在激活协方差的正交零空间中,在大语言模型中消除双用领域(如网络安全、生物、化学、核工程)的危险能力,同时不损害良性科学能力,避免概念混淆。
论文提出 CoLU(Confidence-Weighted Layerwise Unlearning,置信度加权逐层遗忘),一种针对大型语言模型的遗忘方法,并在 Phi-1.5 模型的所有层上报告了完整数据的实验结果。
该论文提出 Forget-Aware Self-Distillation (FASD) 方法,将多模态大模型遗忘解耦为行为通道与知识通道,以实现「诚实无知」——既真正擦除目标知识,又让模型能承认自身知识边界,避免幻觉与信息泄露。
REDaCT提出一种面向大型推理模型的推理时无遗忘框架,通过二元泄漏检测器与纠正性嵌入优化,在彻底移除遗忘集信息的同时完全避免推理链崩溃,实现近乎完美的答案与CoT遗忘并显著保留推理能力。
本文提出了ExecCert,一个发布时的认证层,旨在弥合数学化的机器遗忘认证保证与实际部署中具体有限精度产物之间的差距,并包含针对顺序删除请求的增量式重训练参考发布验证机制。
本文提出了 SSU-LSF,这是首个面向地表预测、基于 Mamba 系列结构化状态空间模型的机器遗忘框架。该方法利用 EKFac 影响函数与投影梯度上升,从 NDVI、LST 以及作物物候预测中移除非平稳混杂偏差,相比完整重训练,成本降低了 8.4 倍。
论文提出了逆向蒸馏遗忘(Inverse Distillation Unlearning, IDU)这一统一框架,能够在将多步流匹配或扩散教师模型蒸馏为高效单步学生模型的同时,抑制被遗忘训练数据的生成。该方法仅需教师模型和遗忘集样本,无需访问保留数据或辅助分类器。
本文介绍了目标说话人遗忘ASR(TSU-ASR),并提出了一种新颖的注册条件门控模块,用于在基于LLM的ASR中推理时动态退出说话人,以增强在线会议的隐私性。
本文将顺序重现识别为Diffusion数据点遗忘过程中的失效模式,并提出一种锐度引导方法,以提升跨删除序列的遗忘持久性。
论文介绍了GUARD,一种用于大型推理模型中自然遗忘的方法,该方法使用引导式答案推理蒸馏来抑制思维链中的不安全或私密内容,同时保持推理实用性。
本文介绍了μ²-Bench,这是一个用于评估大型语言模型中多语言机器遗忘的基准,旨在确保在不同语言中有效移除不需要的信息。
ARIA是一种用于大型语言模型的测试时遗忘方法,它使用稀疏自编码器在推理过程中抑制不需要的知识,而不修改权重,从而改善遗忘-保留权衡,并在对抗性攻击中保持稳健。
本文探讨了针对Large Audio-Language Models的机器遗忘技术,以移除语音问答任务中的敏感信息,并展示了将隐私泄露降低高达80%同时保持性能的方法。
本文介绍了LLM遗忘中的遗忘集错位,并提出了一种名为CONFS的数据无关框架来解决这一问题,实现了遗忘与效用之间的竞争性平衡。
本文介绍了I-CARE,这是一种系统性分析文本到图像模型机器遗忘中干扰的方法,提供了形式化定义和开源框架,以实现可重复研究。
本文提出了CallosumNet,一种受生物学启发的框架,用于在时空图中实现高效遗忘学习,以符合GDPR等隐私法规,实现完全遗忘且准确率损失最小。
IsleNet引入了一种基于空间熵的分区方法用于时空图遗忘,能够在满足隐私法规的同时,以低计算成本实现精确数据删除并保持高精度。