同一枚硬币的两面：学习后门以消除后门

arXiv cs.LG 论文
backdoor-defense data-poisoning neural-backdoor training-time-defense anti-backdoor-learning

摘要

HARVEY 通过学习一个带有后门的参考模型来准确识别有毒样本，实现近乎完美的后门移除，同时仅带来极小的准确率损失。

arXiv:2607.05748v1 公告类型：新 摘要：社区近期开发了多种训练时防御方法，以应对通过数据投毒引入的神经网络后门。基于模型学习有毒样本（后门成因）比学习良性样本更容易的观察，这些方法要么使用训练损失的固定阈值进行分割，要么迭代学习一个参考模型作为识别良性样本的预言机。其中，后者已被证明对反后门学习有效。 我们的方法 HARVEY 采用了一种相似但关键不同的技术：学习一个用于识别有毒样本而非良性样本的预言机。学习一个带有后门的参考模型远比在良性数据上学习参考模型容易。因此，我们能够比相关工作识别良性样本更准确地识别有毒样本。这一关键差异使我们能够实现近乎完美的后门移除，如我们在评估中所展示的。HARVEY 在攻击类型、数据集和架构上均显著优于相关方法，将攻击成功率降至最低，同时自然准确率损失极小。下图展示了我们方法的工作原理概览。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:44 

# 同一枚硬币的两面：学习后门以移除后门
来源：https://arxiv.org/abs/2607.05748
查看PDF (https://arxiv.org/pdf/2607.05748)

> **摘要：**学术界近期开发了多种训练阶段的防御方法，以应对通过数据投毒引入的神经后门。基于模型比良性样本更容易学习到导致后门的有毒样本这一观察，这些方法要么使用固定的训练损失阈值进行样本分离，要么迭代训练一个参考模型作为识别良性样本的预言机。其中，后者已被证明对反后门学习有效。我们的方法HARVEY采用了一种相似但至关重要的不同技术：学习一个用于识别有毒样本而非良性样本的预言机。学习一个带有后门的参考模型比学习一个基于良性数据的参考模型要容易得多。因此，我们能够比相关工作识别良性样本更准确地识别有毒样本。这一关键差异使得我们能够在评估中实现近乎完美的后门移除。在各种攻击类型、数据集和架构上，HARVEY均显著优于相关方法，将攻击成功率降至最低，同时自然准确率损失微乎其微。下图展示了我们方法的工作原理概览。

## 提交历史

来自：Qi Zhao [查看邮箱 (https://arxiv.org/show-email/862da395/2607.05748)] **\[v1\]** 2026年7月7日 星期二 02:11:08 UTC (2,349 KB)

相似文章

Mitigating Backdoors via Decoy Shortcuts and Knowledge Decoupling

arXiv cs.LG

This paper proposes a training-time backdoor defense called Trapping and Removing (TR), which introduces a lightweight shortcut branch as a honeypot to trap backdoor knowledge and then discards it, enhanced by a knowledge decoupling strategy with entropy-based weight assignment.

拔除干草堆中的「绣花针」：通过权重正交化移除大语言模型中的后门

Hugging Face Daily Papers

NEEDLE 是一种免训练的后门移除方法，用于从大语言模型中清除后门：它先估计出后门方向和拒绝子空间，随后通过顺序权重正交化抑制后门，同时保留模型的拒绝行为和基本能力。该方法在多个模型系列上实现了最低的攻击成功率（在代码注入攻击上甚至降至 0%），同时 KL 散度和安全性下降幅度最小。

被“去对齐”（abliterated）的模型如何让你被入侵

Reddit r/LocalLLaMA

ProjectDiscovery 研究人员证明，经过微调或去对齐处理的开源权重模型可以以不到 50 美元的成本隐藏远程载荷后门。他们展示了一条投毒流水线：在 OpenAI 的 Codex CLI 中，Qwen2.5-7B 模型内部的后门在不触发现有评测的情况下窃取了用户凭据。