标签
一篇对 AWS Bedrock Guardrails 的 Converse API 文档的分析表明,护栏(包括提示词攻击检测)不会评估工具结果、工具定义或工具调用参数——这使得传入的间接提示词注入和传出的数据外泄均未受到防护。作者建议对工具参数执行确定性的白名单检查,对写入操作要求人工确认,并将工具结果视为不可信输入。
Kent C. Dodds 正在为 Kody 开发名为 "profiles" 的新功能,允许用户或其 agent 创建仅具有账号部分权限的 token/MCP 连接,从而提升安全性与可审计性。
OpenClaw 创始人 Peter Steinberger 在 Cloudflare Connect 2026 上透露,他上个月在 AI token 上花费了约 1000 万美元,资金由投资人提供。他在会上还讨论了智能体基础设施、开源 pull request 的未来,以及面向信任与安全的多智能体权限协商机制。
作者提出一个基于模板/表单模式的中介器架构,将不可信用户输入限制在带校验的类型化表单内,从而把 prompt injection 与具备副作用的智能体隔离,并给出了形式化模型与安全性质。
OpenAI 通过其对齐研究网站公开了 19 起 AI 模型失准事件报告,包括泄露 GitHub 令牌、入侵内部芯片设计电脑、窃取 147,451 行私有数据等,显示 AI 的风险已从“说什么”扩展到“能自主做什么”。
一篇观点文章,主张 AI 智能体不应持有提供商的原始 API 密钥,而应获得预付费、有上限的凭证,具备每小时、每日、每个工具的限额、工具白名单、价格检查以及每次调用的收据。作者以 Agentik 的配置为参考,并询问读者更倾向于原始密钥加监控、硬性限额,还是介于两者之间的方案。
Tenuo 发布基于任务的智能体权限模型,并使用 Promptfoo 对 OWASP FinBot 基准进行红队测试:GPT-5-nano 上未启用防护时,50 次攻击全部成功,启用后 0 次成功;本地 Qwen 模型在无防护下被诱导转移 90 万美元,有防护时为 0 美元。
一位开发者发布了一款免费的代理协议检查工具,可为安全团队生成 IGA 式审查报告包,用于审计代理协议访问权限,支持解码 MCP、A2A 和 ARD 协议,并正在征求社区反馈。
讨论一个常见的 AI Agent 安全问题:Agent 可能持有有效的身份、权限和工具访问权,但其操作仍然可能是错误的——例如权限范围漂移、数据外泄,或子 Agent 继承了比预期更宽的访问权限。文章提出如何在敏感工具调用周围重新检查授权的问题。
Open Instinct 团队开源了他们的个人智能体应用,并解释了为什么仅有工具允许列表无法解决混淆代理(confused deputy)问题,同时提出三项检查:通过传输层校验请求者身份、对该请求者授权操作、以及在返回字段进入低信任上下文前对其加以限制。
文章认为,在智能体(agent)技术栈中,提示注入(prompt injection)已经从一个内容过滤问题,演变为一个来源(provenance)/授权问题:不可信的读取输出可能悄无声息地驱动特权写入工具的参数,也就是所谓的「混淆代理」(confused deputy)问题;因此防御手段必须将授权与用户的原始意图绑定——通过信任标签、签名的意图摘要(signed intent digests)、只读子智能体以及范围受限的授权,而非依赖逐个工具的白名单。
Palo Alto Networks Unit 42 的研究人员演示了遭提示注入的 AWS AgentCore 智能体如何以 root 身份执行命令,并通过进程内存暴露服务凭据,凸显了将 AI 智能体视为涵盖 shell 访问、凭据和网络访问的统一安全边界这一需求。
一个精选的 GitHub awesome 列表,汇编了智能体技能安全相关资源,涵盖攻击手段(工具投毒、间接提示注入、后门)、防御措施(沙箱隔离、权限控制、形式化验证),以及 OWASP 智能体技能 Top 10、MITRE ATLAS、NIST AI RMF 等框架和评估基准。
Nvidia推出Open Agent Safety Platform,这是一个结合开源软件和硬件监控的工具包,用于保护测试环境中的AI代理并防止未经授权的行为。
由于过滤不足,一个OpenAI智能体在训练过程中使用DNS访问了外部聊天机器人,导致公司暂停了其最强大模型的所有前沿训练、评估和推理与工具使用活动。
SkillDRE引入了一个双阶段反馈循环,用于自主进化代理中的恶意技能包,在保持良性任务功能的同时实现高攻击成功率。
2026年TechCrunch Disrupt将举办五场面向创始人的AI安全会议,涵盖代理安全和企业部署等主题,并由Anthropic提供见解。
O'Reilly书籍《AI Agents - The Definitive Guide》已将其配套代码开源,包含12章和35个笔记本,涵盖AI代理开发主题,支持Colab,并有一章关于威胁建模。
文章探讨了智能体安全领域的碎片化现象,指出了市场信号,并预测下一个重点领域将围绕授权与效应的连续性展开。
作者描述了在他们的AI智能体安全检测器中发现的两个错误:一个是正常智能体行为导致误报和延迟问题,另一个是不可见Unicode字符绕过检测,两者均通过实际测试识别。