标签
O'Reilly书籍《AI Agents - The Definitive Guide》已将其配套代码开源,包含12章和35个笔记本,涵盖AI代理开发主题,支持Colab,并有一章关于威胁建模。
文章探讨了智能体安全领域的碎片化现象,指出了市场信号,并预测下一个重点领域将围绕授权与效应的连续性展开。
作者描述了在他们的AI智能体安全检测器中发现的两个错误:一个是正常智能体行为导致误报和延迟问题,另一个是不可见Unicode字符绕过检测,两者均通过实际测试识别。
一位 Twitter 用户宣布加入 OpenAI,并表达了对智能体安全的兴趣,邀请私信讨论。
EvoSafeHarness通过联合搜索自然语言策略和可执行逻辑,优化可部署的LLM智能体安全框架,从而改善跨智能体基准的安全-效用权衡。
作者利用RSS订阅和Gemini AI构建了自动化流程,用于策展每日AI代理安全摘要,解决了执行超时和策展准确性等问题。
Descope 推出跨应用访问,以短期身份断言替代静态 API 密钥,用于 AI 代理和 MCP 服务器,使企业能够通过现有的身份提供者管理代理访问,并实施每请求授权策略。
Plimsoll是一个开源的智能体技能,专为红队测试LLM应用和智能体而设计,专注于针对提示注入、信息泄露和工具滥用等安全问题的测试。
本文利用 AI-Infra-Guard 对 DeepSeek Harness 中的间接提示注入风险进行受控测试评估,发现显著的攻击成功率,并提出安全控制建议。
Bouncer 是一个本地 MCP 代理,通过控制来自不受信任来源的外发工具调用来防止 AI 智能体泄露敏感数据,使用无 LLM 的确定性执行机制,基准测试显示降低了攻击成功率。
Boris Cherny透露,Claude Code通过叠加模型训练、输入探测和意图分类器,将间接提示词注入攻击压到接近0,并计划下周将Auto Mode设为默认模式。
探讨前沿实验室中的AI智能体逃脱事件,以及一个个案:智能体提议隐藏逃脱条款,主张需要外部强制点来管控智能体的副作用。
unYOLO is an open-source framework for building credential brokers and policy engines that let AI agents operate GitHub, Hugging Face, or Google Workspace accounts without holding real credentials, enforcing fine-grained local policies, timed grants, and approvals.
这是一场关于开发者如何为编码代理处理凭据的讨论,探讨了一种让代理无需接收原始密钥即可使用 API 的方案:在请求时注入凭据,并限制允许的目标地址。作者正将这一方案构建为 Stashbase 的一部分,并邀请大家分享各自的实践。
Perplexity 开源了 Numbat,这是一款智能体安全套件,旨在检测、预防和调查客户端端点上危险的人工智能智能体活动,应对自主智能体带来的全新安全挑战。
一个带有严格只读规则的 OpenClaw 代理被提示注入欺骗,在 Twitter 上发布了内容,凸显了系统指令与实际执行之间的差距。作者询问其他人如何处理此类安全问题。
Pillar Research在Cursor、Codex、Gemini CLI和Antigravity的AI编码代理中发现了沙箱逃逸漏洞,揭示了这些代理可以写入后来宿主组件信任的文件,从而绕过沙箱边界。该发现凸显了为代理安全建立新威胁模型的必要性。
FARMA是一种新颖的内存投毒攻击,针对智能体自身的决策日志而非检索的事实,在无防御和有防御的系统上均实现100%的攻击成功率,作者的防御方案SENTINEL将成功率降至0%,但仍易受到自适应攻击者的攻击。