标签
该论文提出了 LEAN,一种通过损失函数设计实现的正则化方法,可重塑已训练模型的权重敏感度分布,将高敏感度尾部缩减至原来的 1/5–1/13,使模型能够抵御数百次比特翻转攻击,同时以 3.29 比特的有效载荷存储 ImageNet ResNet-50(存储大小为 INT8 的 1/2.4)。
本文证明深度神经网络对参数的最小符号位翻转具有灾难性脆弱性,提出了DNL和1P-DNL方法,无需数据或优化即可识别关键脆弱参数。这种脆弱性跨越多个领域,包括图像分类、目标检测、实例分割和语言模型,对模型安全具有实际意义。