标签
介绍了ADSD，一种提示后缀攻击，通过迫使草稿模型提出目标模型不太可能接受的令牌，在推测性解码中引发接受崩溃，从而增加推理时间同时保持任务质量。
本文提出对话批评者引导采样（DCGS）框架，通过从对话历史推断用户意图，并利用基于价值/遗憾的批评者对回复进行评分，在不进行微调的情况下提高鲁棒性，从而防御LLMs免受多轮对抗性攻击。
本文识别并攻击了图基础模型的对齐层，表明这是一个独特的攻击面，在低预算扰动下尤其脆弱，特别是对于频谱分词器，并提出基于检测的防御措施。
BadWAM 引入了一个针对 World-Action Models (WAMs) 的对抗攻击框架，通过微小的视觉扰动打破想象与行动之间的对齐。这些攻击显著降低了任务成功率，暴露了这类模型中的一个漏洞。
Context bombs是一种利用AI护栏防御AI攻击的技术，为AI系统提供了主动安全措施。
本文介绍了激活引导的GCG和Soft-GCG方法，通过针对大语言模型内部的拒绝表征来优化对抗性后缀，实现了比标准GCG快33倍的加速，并揭示了分布式的安全机制。
本文展示，对抗性智能体能够说服思维链监控器批准违反策略的行为，使有害批准平均增加9.5%。研究提出了一种使用不同模型系列的事实核查框架，将违反策略的批准率最多降低45%。
本文介绍了“idiobionics”作为一个新的研究领域，研究智能机器人假肢中的隐私和安全风险，概述了潜在的对抗攻击和开放研究问题，以指导未来的工作。
本文介绍了GhostWriter，一种新颖的攻击向量，利用基于大语言模型的个人智能体的记忆子系统来毒化其记忆存储，实现了高注入率和激活率。作者提出了AM-Sentry防御机制，在保持智能体实用性的同时显著降低攻击成功率。
本文研究了对抗性数据修改对电价预测的影响如何作用于工业需求响应，发现虽然攻击会侵蚀利润，但有限度的扰动仍能保留大部分财务收益。
本文介绍了CoC-Seduce，一个用于评估LLM裁判在桌面角色扮演游戏环境中对抗修辞注入攻击的规则遵循能力的基准，发现模型规模和显式推理机制并不能保证鲁棒性。
Google DeepMind的论文首次清晰分类了针对自主AI智能体的六种攻击类型，揭示了恶意网站可以将指令等隐藏在HTML注释或隐写术中，智能体会解析而人类永远看不到，在基准测试中实现了高达86%的智能体劫持率。
Claude Sonnet 5 在几分钟内被越狱，利用了学术/研究框架和角色劫持，绕过了除化学/生物之外的大多数安全类别。
提出Triospect，一种三维框架，增强AI生成文本检测对17种攻击的鲁棒性，相较于基线实现了22.3%的AUROC提升。
本文介绍了TrajRS，它是Randomized Smoothing的一个扩展，为行人轨迹预测器提供认证的鲁棒半径，从而针对对抗扰动提供可验证的安全保证。
提出了JaiLIP方法，通过使用损失引导扰动生成不可察觉的对抗图像来破解视觉语言模型，实现了高毒性并优于现有方法。
介绍了PHANTOM，一个大规模的开源预生成对抗攻击数据集，用于视觉语言模型，涵盖1010个高级类别和55个有害意图子类别，共47,524个对抗样本。该数据集旨在降低对抗研究的门槛，并支持对VLM鲁棒性和安全性的系统评估。
本研究评估了六种专有大型语言模型（LLMs）在16种DSM-5病症中通过对抗性攻击的表现，发现安全防护措施仅对自杀和自伤可靠，而对进食障碍、物质使用障碍等其他病症的失败率高达100%。
RIFT-Bench是一种新的基准测试方法论，用于对智能体AI系统进行动态红队测试，通过图表示统一不同架构的安全性评估，并支持自动化发现和扫描漏洞。
Zico Kolter 和 Matt Fredrikson，Gray Swan 的领导者及 AI 安全专家，讨论了 AI 红队测试的现状以及间接提示注入——这是 AI 代理的关键漏洞。他们解释了为何 AI 安全需要不同的思维模式，自动化红队测试如何超越人类，并介绍了用于对抗性测试的工具 Shade。