标签
本文提出了一个全面的基准，用于评估图神经网络中的对抗攻击与防御，强调了需要标准化和公平的实验协议。
提出了 LiSCP，一种轻量级的风格一致性分析方法，旨在鲁棒性地检测大语言模型（LLM）生成的文本内容，重点关注在对抗性操纵下特征的稳定性。在域内和跨域检测中取得了优异的性能，并具有显著的鲁棒性。
本文介绍了一种资源高效的修剪框架，该框架能够识别并移除大型语言模型中与不安全行为相关的参数，同时保持模型的实用性。该方法利用无梯度归因和彩票假说视角，在最小化性能损失的前提下，显著减少了不安全内容的生成，并增强了对越狱攻击的鲁棒性。
本论文证明了使用随机分词而非确定性标准分词来训练大型语言模型，可以显著提升模型对对抗攻击和随机扰动的鲁棒性。这种改进在预训练、微调和上下文学习阶段都有表现，且不会增加推理成本。
MemEvoBench 引入了首个用于评估 LLM 代理内存安全性的基准测试，衡量对抗性内存注入、噪声输出和有偏反馈在问答与工作流任务中导致的行为衰退。该研究表明内存演化是安全失败的重要因素，且静态防御措施不足以应对。
ASGuard是一种基于机制的防御框架，通过电路分析识别脆弱的注意力头，并应用有针对性的激活缩放和微调，在保持模型能力的同时提高拒绝行为的鲁棒性，从而缓解针对LLM的越狱攻击。
OpenAI 提出证据表明，像 o1 这样的推理模型在获得更多推理时计算来进行更深入思考时，对对抗攻击的抵抗力会增强。这项研究表明，增加计算量可以降低多种任务类型（包括数学、事实性和对抗性图像）的攻击成功率，尽管仍存在一些显著的例外。
# 测试对未知对手的鲁棒性 来源：[https://openai.com/index/testing-robustness/](https://openai.com/index/testing-robustness/) OpenAI 我们开发了一种方法来评估神经网络分类器是否能可靠地抵御训练期间未见过的对抗性攻击。我们的方法产生了一个新的指标 UAR（未知攻击鲁棒性），它评估单个模型对意外攻击的鲁棒性，并强调了需要在更多样化的未知攻击范围内测量性能
# 不同扰动类型之间对抗鲁棒性的迁移 来源: [https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/](https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/) OpenAI## 摘要 我们研究深度神经网络在不同扰动类型之间的对抗鲁棒性迁移。虽然大多数关于对抗样本的工作专注于L∞L\_∞和L2L\_2有界扰动，但这些并不能捕捉所有t
# 鲁棒分类中的计算限制与双赢结果 来源: [https://openai.com/index/computational-limitations-in-robust-classification-and-win-win-results/](https://openai.com/index/computational-limitations-in-robust-classification-and-win-win-results/) ## 摘要 我们延续关于学习鲁棒分类器中统计/计算权衡的研究,跟进 Bubeck, Lee, Price 和 Razenshteyn 的最近工作,他们展示了分类任务的示例,其中 \(a