持久遗忘：通过电路归因实现量化不变的机器遗忘

Hugging Face Daily Papers 论文
machine-unlearning quantization circuit-attribution sparsity-permanence-tradeoff llm model-compression

摘要

本文识别了一个基本的稀疏-持久权衡，其中量化逆转了机器遗忘，并提出了MANSU方法，该方法结合因果电路归因和零空间投影，实现了量化不变的遗忘。

标准的机器遗忘评估衡量的是全精度下、训练刚结束时的行为抑制，而实际部署的每个语言模型都先经过量化。最近的工作表明，4位训练后量化可以逆转机器遗忘；我们证明这不是一个调优产物，而是一种系统性的双重失效：实现显著遗忘的梯度方法在压缩后会丢失遗忘效果，而能在量化后幸存的方法则几乎不改变模型。这两种失败都源于同一个根本原因：在所有基线中，每个参数更新幅度比NF4量化箱宽度小47到828倍；分散在数十亿参数上的更新无法跨越量化箱边界，我们将这一后果形式化为稀疏-持久权衡。我们提出了MANSU（机械对齐零空间遗忘），通过结合因果电路归因来隔离最小的遗忘子图、电路受限的零空间投影及对角Fisher保持界，以及按构造保证量子化幸存性的每个参数幅度下限，从而解决了两种失败模式。我们还引入了电路归因散度（CAD），这是一种机械验证指标，能够区分结构性擦除与行为抑制——现有指标无法进行这种区分。在多个模型系列和危害基准测试中，MANSU是首个在所有四个属性上同时满足且各有余量的方法（显著遗忘、保持保留、非正向PTQ差距以及结构性擦除），而基于梯度的基线在压缩下恢复了高达+0.05的准确率。
查看原文
查看缓存全文

缓存时间: 2026/05/18 18:27

论文页面 - 遗忘的顽固性：通过电路归因实现量化永久性反学习

来源：https://huggingface.co/papers/2605.15138

摘要

量化会逆转机器反学习的效果，揭示出一个根本性的稀疏性-持久性权衡：参数更新落在量化箱宽度以下，从而促使MANSU方法的诞生，该方法能在压缩条件下同时实现遗忘与保持保留。

标准反学习（https://huggingface.co/papers?q=unlearning）评估在训练后立即以全精度测量行为抑制（https://huggingface.co/papers?q=behavioral%20suppression），尽管每个已部署的语言模型都首先进行了量化。最近的研究表明，4位训练后量化（https://huggingface.co/papers?q=quantization）可以逆转机器反学习（https://huggingface.co/papers?q=unlearning）；我们证明这并非调参假象，而是一种系统性双重失效：基于梯度的方法虽能实现有意义的遗忘，但在压缩下会丧失效果，而能够幸存于量化（https://huggingface.co/papers?q=quantization）的方法则几乎不改变模型。两种失效都追溯到同一根本原因：在所有基线中，每参数更新量低于NF4量化（https://huggingface.co/papers?q=quantization）箱宽47-828倍；扩散于数十亿参数间的更新无法越过量化箱边界，我们将其正式化为稀疏性-持久性权衡（https://huggingface.co/papers?q=sparsity-permanence%20tradeoff）。我们提出MANSU（机制对齐零空间反学习，https://huggingface.co/papers?q=Unlearning），它通过结合因果电路归因（https://huggingface.co/papers?q=causal%20circuit%20attribution）来隔离最小遗忘集子图、带对角Fisher保持界（https://huggingface.co/papers?q=diagonal-Fisher%20retain%20bound）的电路受限零空间投影（https://huggingface.co/papers?q=null-space%20projection），以及保证量化（https://huggingface.co/papers?q=quantization）幸存性的逐参数幅度下限（https://huggingface.co/papers?q=per-parameter%20magnitude%20floor），从而解决这两种模式。我们另外引入了电路归因散度（https://huggingface.co/papers?q=Circuit%20Attribution%20Divergence，CAD），这是一种机制验证指标，能够区分结构性擦除（https://huggingface.co/papers?q=structural%20erasure）与行为抑制（https://huggingface.co/papers?q=behavioral%20suppression），这是现有指标无法做到的。在多个模型系列和危害基准测试中，MANSU是第一个在各项指标上均留有余量地同时满足所有四个属性（有意义的遗忘、保持保留、非正PTQ差距（https://huggingface.co/papers?q=PTQ%20gap）和结构性擦除（https://huggingface.co/papers?q=structural%20erasure））的方法，而基于梯度的基线在压缩下会恢复多达+0.05的准确率。

查看arXiv页面（https://arxiv.org/abs/2605.15138）查看PDF（https://arxiv.org/pdf/2605.15138）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.15138）

在您的智能体中获取此论文：

hf papers read 2605.15138

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型README.md中引用arxiv.org/abs/2605.15138以在此页面链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2605.15138以在此页面链接。

引用此论文的Space0

没有Space关联此论文

请在Space README.md中引用arxiv.org/abs/2605.15138以在此页面链接。

包含此论文的合集1

相似文章

自模式连通性引导的基于流形表示遗忘的近似机器遗忘

arXiv cs.LG

本文提出 ManiF-SMC，一种完全在表征空间中运行的近似机器遗忘方法，通过将擦除样本从其原始学习的流形表征推向保留数据中其最近的语义邻居，并使用由自模式连通性模块引导的基于边界的三元组损失来实现自适应边界。

基于边际自校正的大规模快速遗忘

arXiv cs.LG

介绍了MASC（边际自校正），一种用于大型语言模型的高效遗忘方法，采用在线停止规则，以降低的计算成本实现有竞争力的遗忘-保持权衡，并在TOFU和MUSE基准上得到验证。