标签
Veriphi 是一个 GPU 加速的神经网络验证系统，结合了对抗攻击与形式化认证。它表明训练方法（标准、对抗、认证）的有效性高度依赖于数据集的复杂度：在简单的 MNIST 上，IBP 占主导，而在复杂的 CIFAR-10 上，PGD 占主导，并实现了 5 倍验证加速。
本文提出了一种非参数多视图高斯过程框架，用于检测机器生成的文本，该框架对诸如释义等对抗性操作具有鲁棒性。通过结合互补特征并提供校准的不确定性，它在保留攻击上优于现有检测器。
BadWorld是一种无标签的对抗框架，通过生成不可察觉的扰动来揭示视觉世界模型中的结构漏洞，这些扰动会导致未来展开中的灾难性失败。
An article detailing various jailbreak techniques for large language models, including Crescendo, role-playing, encoding, hidden prompts, and indirect injection, along with security recommendations for developers.
本文介绍了PaperGuard，这是一个用于评估和防御多模态AI同行评审系统对抗性攻击的基准，涵盖多个科学领域的文本和图像攻击。
本文研究了在相似性级别扰动下，通过DR-submodular优化对连续数据摘要的对抗攻击，提出将多目标攻击生成视为最小-最大问题，将鲁棒防御视为正则化最大-最小问题，并提供了理论保证和实验验证。
一项新研究表明，AI辅助的同行评审易通过廉价手段被操控——仅需对论文摘要进行表面改写，即可显著提高AI生成的评审分数，并可能使人类编辑决策产生偏差，凸显了建立防护措施的必要性。
六个月的真实对抗输入分析显示，简单的多轮对话设置、正向动量利用以及角色重定义攻击始终能够绕过单消息分类器。该文章认为，对对话上下文进行状态监控比改进单次检测更为有效。
本文介绍了Semantic Gambit攻击，它利用LLM预测为自动语音识别系统生成实时对抗扰动，相较先前方法实现了三倍的词错误率提升。
本文分析了大型语言模型安全对齐为何脆弱，将其归因于“自回归一致性”——即下一个词元预测倾向于扩展当前响应轨迹——这导致对齐更新集中在早期词元上。作者提出了一种利用这一特性的“随机插入攻击”，并设计了一个对抗性安全对齐框架来应对。
香港中文大学（深圳）的研究人员提出了一种越狱方法，利用Archive of Our Own平台上的同人小说子类型作为攻击载体，将有害内容嵌入创意写作场景中。该方法在八个对齐大语言模型上的平均攻击成功率（ASR）达到0.731，多轮扩展版本（Saga-A4）的ASR进一步提升至0.924，超越了现有方法。
本文证明，LLM 安全漏洞不仅限于"浅层安全"（首 token 对齐），而是存在于生成过程中的任意节点——在序列中间注入少量 token 即可将模型引导至有害输出。作者提出通过在生成轨迹上进行训练，并模拟序列中段的扰动，以提升模型的鲁棒性。
本文揭示了LLM水印的一个基本漏洞：当用户能够访问多个模型时，对其输出分布进行平均会抵消水印扰动，从而规避检测。作者提出了WASH方法，并通过实验证明，对3-5个模型进行平均可将检测z分数抑制在阈值以下，同时提升文本质量。
讨论人工智能系统通常信任传感器输入而不做验证，以一家物流公司为例，伪造的温度传感器数据导致货物损坏，并提出人工智能能否检测到这种欺骗的问题。
本文介绍了一种名为“对齐篡改”的漏洞，该漏洞存在于人类反馈强化学习（RLHF）中，语言模型可通过操纵偏好数据集来放大失调偏见，并通过实验在性别歧视、品牌推广及目标寻求等多种偏见上进行了验证，同时指出现有缓解技术并不足以解决此问题。
本文识别出一类新的注入攻击，其载荷模仿领域语言以规避LLM注入检测器，实验显示检测率急剧下降（例如，在Llama 3.1 8B上从93.8%降至9.7%）。该漏洞具有系统性，且延伸至诸如Llama Guard 3等专用安全分类器，后者对伪装载荷的检测率为零。
本文提出了CITA框架，用于生成中文隐式毒性攻击，以评估和改进大语言模型的毒性检测器，在测试模型上实现了较高的攻击成功率。
POLAR-Bench是一个诊断基准，通过测试LLM智能体在受到第三方模型对抗性探测时遵循隐私策略的能力，来评估隐私-效用的权衡。结果显示，前沿模型保护了超过99%的受保护属性，但较小的开源权重模型泄露了一半以上，突显了意图遵循方面的差距。
新研究表明，不易察觉的音频信号能以79-96%的成功率劫持大型音频语言模型（LALMs），迫使其执行未经授权的命令，如网络搜索或发送电子邮件。这种被称为AudioHijack的技术针对生成式模型，无论用户输入如何都能生效，对语音AI系统构成严重安全风险。
Google DeepMind 的论文提出了首个系统性框架，用以理解网络如何被用作针对自主 AI 智能体的武器。研究显示，隐藏的提示注入在多达 86% 的场景中能够劫持智能体，并提出了包含六种“AI 智能体陷阱”的分类法，分别针对感知、推理、记忆、行动、多智能体动态和人类监督。