标签
本文识别了大型语言模型中的一种漏洞，称为语义伪装，并提出了潜在意图验证，这是一种轻量级探测防御，能显著提高对抗性攻击的检测率。
本研究探讨了语言模型上下文窗口中的敏感信息如何意外泄露至输出，使得通过新攻击方法重建秘密成为可能，实验结果表明在多款专有模型中泄露问题显著。
本文对基于模板的神经网络鲁棒性验证加速进行系统性研究，并介绍了FastCert，一种自动分配模板以提高性能的技术。
SecOPD是一种防御方法，在微调过程中使用令牌级反馈来缓解大型语言模型中的自适应提示注入攻击，与先前方法相比，显著降低了攻击成功率。
FedLNS是一个服务器端框架，使用LayerNorm签名来筛选联邦学习中语言模型的恶意更新，增强对对抗性操纵的鲁棒性。
本文揭示了RAG投毒攻击能人为提升模型置信度以规避传统检测方法，并提出通过监控注意力分布来检测此类攻击。
Meta的新论文表明，在适应性攻击下，对抗性LLM能够在62–91%的案例中说服裁判模型改变决策，这通常会使判断恶化，并对AI代理系统构成实际风险。
本文介绍了GENADA，一种生成式对抗攻击框架，能够在前向传播中一次性生成针对时间序列分类器的欺骗性扰动，在降低推理时间的同时，实现了与迭代基线方法相当的攻击质量。
本文提出DURA，一种基于扩散的无限制机器人攻击方法，能够生成视觉上自然的对抗性补丁，在白盒和黑盒设置下干扰视觉-语言-行动（VLA）模型，凸显了物理部署机器人系统的安全风险。
本文提出了一种几何感知的对抗攻击框架，针对对比嵌入流形中的关系结构进行攻击，表明诸如 Markmatch 之类的验证系统会因扭曲成对相似度而非决策边界而严重退化。
本文提出使用GFlowNets训练一个攻击者LLM，自动生成针对受害者LLM的对抗性攻击，从而在英语和土耳其语中实现自动化红队测试和鲁棒性评分。
一篇综述论文，系统分析了多模态大语言模型不断演变的安全格局，涵盖了对抗性攻击、数据投毒、越狱和幻觉等新兴威胁，并回顾了更新后的安全策略。
一篇论文，介绍了ILL（一种不可听的低频红队测试方法，用于暴露音频语言模型的安全漏洞）和DRG（一种防御方法，可检测分布偏移并请求第二次录音以恢复准确性）。
本文提出了一种利用语义等价的对抗性扰动来诱发LLM内在幻觉的框架，表明即使保持查询含义不变，最先进的模型在上下文忠实度上也会显著下降。
本文指出语义偏移越狱攻击因忽视上下文的语义偏移能力而受限，并提出迭代上下文优化（ICO）——一种黑盒框架，通过迭代优化上下文来提高对基础模型的攻击成功率。
This paper identifies a refusal-cue shortcut in safety guard models, where inserting refusal expressions into harmful responses can flip their harmless classification. The authors audit datasets like WildGuardMix and GR-Train, show the issue persists in official models such as LlamaGuard3 and Qwen3Guard, and propose a post-hoc intervention to suppress shortcut-associated components.
本文综述了“善意的对抗攻击”，考察在视觉内容生命周期中应用的主动保护措施，以干扰未经授权的AI自动化并支持问责，涵盖五个研究社区，包括隐私过滤器、不可学习样本、生成式防护、对抗性CAPTCHA和溯源机制。
Introduces OpenART, a large-scale arena for red-teaming AI agents via open-ended environment evolution, with over 10K stateful scenarios across 50 domains, plus EMHA, a black-box hypergraph attack achieving 85% ASR across 75 agent-model configurations.
This paper introduces a white-box, gradient-regularized evasion framework that embeds attack logic directly into model parameters, successfully fooling explainable AI auditors like LIME, SHAP, and Integrated Gradients while bypassing anomaly detection defenses.
本文评估了五种阿拉伯语言模型在字符级、单词级和句子级攻击下的对抗鲁棒性，结果表明插入变音符号可使准确率降低92%，对抗训练能提升鲁棒性但存在局限性。