鲁棒对抗性输入
摘要
研究人员展示了对抗性图像,这些图像能够在多个尺度和视角下可靠地欺骗神经网络分类器,这对自动驾驶汽车所使用的多尺度图像捕捉系统的鲁棒性假设提出了挑战。
相似文章
不同扰动类型之间对抗鲁棒性的迁移
# 不同扰动类型之间对抗鲁棒性的迁移 来源: [https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/](https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/) OpenAI## 摘要 我们研究深度神经网络在不同扰动类型之间的对抗鲁棒性迁移。虽然大多数关于对抗样本的工作专注于L∞L\_∞和L2L\_2有界扰动，但这些并不能捕捉所有t
神经网络策略的对抗性攻击
OpenAI 研究人员展示了对抗性攻击（先前在计算机视觉中研究过）对强化学习中的神经网络策略也同样有效，即使在白盒和黑盒设置中进行微小的难以察觉的扰动也会导致显著的性能下降。
测试对未知对手的鲁棒性
# 测试对未知对手的鲁棒性 来源：[https://openai.com/index/testing-robustness/](https://openai.com/index/testing-robustness/) OpenAI 我们开发了一种方法来评估神经网络分类器是否能可靠地抵御训练期间未见过的对抗性攻击。我们的方法产生了一个新的指标 UAR（未知攻击鲁棒性），它评估单个模型对意外攻击的鲁棒性，并强调了需要在更多样化的未知攻击范围内测量性能
用推理时计算换取对抗鲁棒性
OpenAI 提出证据表明，像 o1 这样的推理模型在获得更多推理时计算来进行更深入思考时，对对抗攻击的抵抗力会增强。这项研究表明，增加计算量可以降低多种任务类型（包括数学、事实性和对抗性图像）的攻击成功率，尽管仍存在一些显著的例外。
用对抗样本攻击机器学习
本文讨论了针对机器学习模型的对抗攻击，并展示了梯度掩蔽（一种试图拒绝攻击者访问有用梯度的防御技术）为何从根本上是无效的。论文表明，攻击者可以通过训练能够模拟被防御模型行为的替代模型来绕过梯度掩蔽，最终使这一防御策略失效。