jailbreaking

一篇评论文章认为，AI模型从训练数据中获取危险知识，而像Anthropic和OpenAI这样的公司依赖容易破解的拒绝过滤器，而非真正移除有害能力，优先考虑速度而非安全。

特朗普政府要求Anthropic阻止其先进AI模型Claude Fable 5的越狱行为，但专家认为从技术上阻止所有越狱可能不可能。

Axios新报道揭示Anthropic与特朗普政府之间的信任危机，技术争议退居其次，公司正在失去关键支持者。

Anthropic 与特朗普政府就其 Claude Fable 5 模型的出口管制存在争议，此前白宫因越狱担忧而施加限制，该担忧源于亚马逊首席执行官安迪·贾西向财政部长斯科特·贝森特提出的问题。Anthropic 与政府官员的谈判已结束，未解除管制，商务部表示若 Anthropic 完全解决漏洞则愿意进行谈判。

论述了由于LLMs必须编码有害内容才能识别，且鉴于用户基数庞大，越狱在统计上总是可能的，因此存在非零的伤害概率；作者因此主张反对审查，以确保善意行为者与恶意行为者拥有相同的工具。

美国政府因安全担忧一个越狱方法，指示Anthropic禁用其Fable和Mythos模型的访问权限。Anthropic遵照执行，关闭了全球所有客户的访问。

本文研究前沿语言模型能否检测其先前的助手消息被插入或编辑的情况（即预填充意识）。研究发现，像Claude Opus 4.5这样的模型表现出显著的预填充意识，能在不产生误报的情况下检测出高达35%的篡改预填充案例，这可能损害基于预填充的安全评估的有效性。

本文将拒绝引导（基于激活的越狱方法）扩展至混合专家（MoE）大语言模型，发现 MoE 的路由模式并不会阻碍引导效果，并提出了专家感知方法，可基于单个专家的输出来抑制拒绝行为。

一篇非正式的研究笔记，描述了Transformer中的一种行为：模型的固有“清晰性寻求”向量在讨论高阶主题时可以绕过约束，这可能与对齐和安全研究相关。

本文提出了 TRACE，这是一个基于强化学习的、具有对话轮次感知能力的多轮大语言模型（LLM）越狱攻击信用分配框架，声称在攻击成功率和防御对齐方面取得了显著提升。

OpenGuardrails 是一个面向AI安全的开源平台，通过统一模型提供上下文感知的内容安全与操纵检测（例如提示注入、越狱），以及一个独立的NER管道用于数据泄露识别。它在安全基准测试上取得了最先进的性能，并支持私有化、企业级部署。