无需数据或优化的最大脑损伤:通过符号位翻转干扰神经网络
摘要
本文证明深度神经网络对参数的最小符号位翻转具有灾难性脆弱性,提出了DNL和1P-DNL方法,无需数据或优化即可识别关键脆弱参数。这种脆弱性跨越多个领域,包括图像分类、目标检测、实例分割和语言模型,对模型安全具有实际意义。
查看缓存全文
缓存时间: 2026/04/20 08:26
论文页面 - 无数据或优化的最大脑损伤:通过符号位翻转破坏神经网络
来源:https://huggingface.co/papers/2502.07408
摘要
深度神经网络在多个领域中对极小参数位翻转表现出灾难性脆弱性,可通过针对性保护策略加以识别和缓解。
深度神经网络(Deep Neural Networks,DNNs)仅需翻转少数参数位即可被灾难性破坏。我们提出深度神经病变(Deep Neural Lesion,DNL)——一种无需数据、无需优化的方法,用于定位关键参数,并在此基础上提出改进的单次变体 1P-DNL(1P-DNL),该方法通过在随机输入上进行一次前向和反向传播来优化参数选择。我们证明这种脆弱性跨越多个领域,包括图像分类、目标检测、实例分割以及推理型大语言模型。在图像分类中,仅翻转 ImageNet 上 ResNet-50 的两个符号位即可将准确率降低 99.8%。在目标检测和实例分割中,骨干网络的一或两次符号位翻转可将 Mask R-CNN 和 YOLOv8-seg 模型的 COCO 检测和掩码 AP 降至接近零。在语言建模中,将两个符号位翻转到不同专家可将 Qwen3-30B-A3B-Thinking 的准确率从 78% 降至 0%。我们还表明,有选择地保护少量易受攻击的符号位可为此类攻击提供实用的防御手段。
查看 arXiv 页面(https://arxiv.org/abs/2502.07408)查看 PDF(https://arxiv.org/pdf/2502.07408)项目页面(https://mkimhi.github.io/DNL/)GitHub(https://github.com/IdoGalil/maximal-brain-damage)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2502.07408)
在你的 agent 中获取此论文:
hf papers read 2502.07408
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2502.07408 即可从此页面链接。
引用此论文的数据集
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2502.07408 即可从此页面链接。
引用此论文的 Space
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2502.07408 即可从此页面链接。
包含此论文的收藏夹
没有收藏夹包含此论文
将此论文添加到收藏夹(https://huggingface.co/new-collection)即可从此页面链接。
相似文章
神经网络策略的对抗性攻击
OpenAI 研究人员展示了对抗性攻击(先前在计算机视觉中研究过)对强化学习中的神经网络策略也同样有效,即使在白盒和黑盒设置中进行微小的难以察觉的扰动也会导致显著的性能下降。
神经变异性增强人工网络鲁棒性
本文研究受大脑神经变异性启发的相关噪声如何增强人工神经网络对抗对抗攻击和自然图像修改的鲁棒性。
平坦最小值是幻觉吗?
本文挑战了关于平坦最小值能导致神经网络更好泛化的普遍观点,认为‘弱性’——一种函数简单性的重参数化不变度量——才是真正的驱动力。在MNIST和Fashion-MNIST上的实验结果表明,弱性能够预测泛化,而尖锐性则与之负相关,且随着训练数据增加,大批次泛化优势消失。
从几乎一无所有中学习:神经网络如何在重度输入损坏中存活
本文研究了神经网络在超过90%的输入特征被损坏时仍能保持高准确率的现象,并利用平均场方法在高噪声极限下推导出基于质心的决策规则。
Quantization Damage Is Multiplicative, Not Additive
This preprint challenges the common assumption that quantization damage is additive noise, showing instead that it multiplies decision margins and shrinks them with bit-width, leading to silent failures in tool-use and safety decisions. The authors propose a fitted multiplicative model that predicts flip rates well.