标签
Osmantic创始人反对对用户施加安全限制,同时AI代理绕过防护栏,主张开源AI对安全至关重要。
一项论文通过大规模公开竞赛评估AI代理对间接提示注入攻击的脆弱性,发现所有前沿模型都易受影响,攻击成功率各不相同,并强调需要改进全行业的安全措施。
本文探讨了 AI 账户的中国批发市场,详细描述了 Claude 和 ChatGPT 账户的生态系统,包括分销商、经纪人和市场,涵盖定价、需求以及涉及的关键参与者。
本文介绍Blueprint,一个安全评估框架,使用WorldviewSim和蒙特卡洛树搜索来优化针对大型语言模型的多轮越狱攻击,以较少的查询实现高攻击成功率,并揭示特定模型的漏洞。
提出了一种名为激活匹配微调的无监督方法,通过比较与参考模型的激活来检测大语言模型中的隐藏行为,无需先验知识即可可靠识别触发器。
本文介绍了ContextLeak,一种利用恶意工具描述从LLM代理中窃取敏感上下文的攻击方法,在窃取用户提示和对话历史方面实现了高成功率。
本文研究了智能代理AI架构如何完成在线调查并通过注意力检查,从攻击和防御角度分析了漏洞。评估了多个开源模型,并提供了AI时代数据质量控制策略。
本文提出了Groundhog Bit-Flip Attack (GBFA),一种针对Mixture-of-Experts (MoE) 大语言模型的拒绝钱包可用性攻击,该攻击通过比特翻转停用与终止相关的专家模型,导致无限生成循环。
本文介绍了FORGE基准测试,用于评估生成引擎优化污染的网页内容如何误导搜索增强的LLM推荐器推广虚假产品,揭示了显著的漏洞和无效的防御措施。
SecOPD是一种防御方法,在微调过程中使用令牌级反馈来缓解大型语言模型中的自适应提示注入攻击,与先前方法相比,显著降低了攻击成功率。
Plimsoll是一个开源的智能体技能,专为红队测试LLM应用和智能体而设计,专注于针对提示注入、信息泄露和工具滥用等安全问题的测试。
HarnessRisk 是一种面向生命周期的基准测试,专门评估代理工具安全性,揭示了配置漏洞和检测缺口,这些漏洞和缺口允许高攻击成功率,同时保持系统的效用。
参加与 Arshi Chadha 的 AMA,她是 OWASP LLM Top 10 的联合负责人,讨论 AI 系统中的提示注入、RAG 投毒和嵌入攻击。
讨论了一篇安全论文,该论文展示了顶级模型(Opus、Sol)的加密推理可以被替换到较弱模型(Haiku)中,从而绕过安全护栏,原因是模型和会话之间共享一个全局加密密钥。这引发了关于OpenAI、Anthropic和Google为何独立地收敛到相同脆弱设计的问题。
一个假设性的安全讨论,探讨来自被入侵 API 的投毒数据如何流入 AI 代理和分析系统,并质疑防御措施应部署在哪里。
最近的一篇论文展示了一种从Claude和GPT等专有LLM API中检索隐藏推理轨迹的技术,这对开源模型的比较、基准测试的完整性和蒸馏工作都有影响。
本文提出使用GFlowNets训练一个攻击者LLM,自动生成针对受害者LLM的对抗性攻击,从而在英语和土耳其语中实现自动化红队测试和鲁棒性评分。
一篇新论文揭示了专有LLM API中的一个漏洞,其中加密的思维链块可以在模型之间重放,并通过越狱较弱的姊妹模型来解密,从而暴露隐藏的推理痕迹。该问题已被提供商修复。
一项关于Token经纪人的调查,这些经纪人从初创公司购买未使用的AI API额度,并以大幅折扣转售,凸显了推理信用额度的新兴灰色市场及其安全隐患。