标签
本文提出一个框架，通过纯文本续接接口对黑盒大语言模型实施越狱攻击，结合基于采样的分布重构、风险门控残差控制以及推测性多 token 执行，在不获取模型权重或 token 概率的情况下绕过安全对齐机制。
本文引入了一个能量景观框架，以分析越狱攻击为何在基于扩散的语言模型中成功，并推导出三种互补的、无需训练的检测信号，用于安全对齐。
SEAD 提出将工具使用智能体的攻击与防御统一为部分可观测状态控制问题。其中，DART 通过分解有害目标并利用工具执行反馈指导轨迹搜索来提升攻击成功率；SAGE 则通过只读查询在执行前检查状态，从而拦截有害操作。在在线攻防评估中，SAGE 将 DART 的可执行攻击成功率从 48.0% 降至 4.0%。
本文探讨了在聊天模板中使用保留令牌与子词令牌时，如何影响针对 LLM 智能体的提示注入攻击的成功率，并发现保留令牌会显著提高攻击的权限和成功率。
真实用户在Aladdin Challenge中尝试提示词攻击AI代理，共生成了超过1200条消息，以试图让代理发送资金给他们。
本文提出了一种名为SRCF的攻击方法，该方法通过反向对齐少样本对话来引导大型推理模型（LRMs）产生不安全或拒绝行为，并提出了一种名为ARCF的后训练防御机制，该机制在不降低效用的情况下增强了安全性和有用性。
本文介绍了通用多代理交易系统（GMATS）框架，用于研究基于LLM的交易系统中的对抗性攻击，表明即使是简单的输入攻击也可能降低性能，但稳健的系统设计可以提高鲁棒性。
研究发现，AI文本水印改变了语言模型对有害提示的响应，可能增加对对抗攻击的脆弱性并影响智能体行为。
ARIA是一种用于大型语言模型的测试时遗忘方法，它使用稀疏自编码器在推理过程中抑制不需要的知识，而不修改权重，从而改善遗忘-保留权衡，并在对抗性攻击中保持稳健。
该论文在大型语言模型中识别出有害性传播动态，并介绍了 Herald，一个轻量级的输入调节器，它利用跨层激活模式高效检测有害提示。
本文介绍了联合像素-提示优化（JPPO），这是一种新颖的对抗框架，通过联合优化像素扰动和可见提示来耗尽自回归视觉-语言模型中的资源，与现有方法相比，实现了显著的延迟和能量放大。
SAFEGuard 是一个统一检测框架，利用有害语义分析和流畅度测量来检测针对大型语言模型的基于优化的越狱攻击，性能优于现有最佳基线方法。
本文介绍了CAPTURE，一种方法，用于区分个性化语言代理中真实用户偏好变化与恶意记忆投毒，采用神经微分方程和因果审计。
本文介绍了ASCII攻击，这是一种单回合越狱方法，通过将有害请求嵌入ASCII艺术中作为艺术批评，展示了在多个大型语言模型中的高成功率，并突显了由于不匹配泛化导致的安全对齐缺陷。
本文介绍了一种机理方法，通过描述一个用于拒绝行为的电路并使用电路引导的权重缩放来提升LLM安全性，在攻击下将安全率提升了26.5%，同时仅导致最小的准确率损失。
该论文主张，评估LLM安全防护需要考虑实际部署风险，而不仅仅是局部评估指标，因为来自适应攻击者的残余危害证据具有不对称性，且在现有声明中往往不足。
本文揭示了即使在组成模型安全对齐的情况下，模型合并中存在的越狱风险，并提出了 Basin-Aware Jailbreak (BAJ)，用于在合并模型家族中生成可转移的对抗性后缀。
NeuronFuzz是一个白盒模糊测试框架，利用内部安全神经作为连续反馈来评估LLM对越狱攻击的安全性，并在多个模型上展示了高发现率。
本文提出了一个框架，用于量化复杂社会技术系统中AI采用的系统级危害，并通过金融基础设施中对抗性操纵的案例研究来展示风险的增加。
本文研究了基于LLM的仇恨言论审核对注释者风格反驳的敏感性，表明此类攻击会降低性能，并揭示了漂白和抹黑操作之间的方向性不对称。