agent-security

标签

Cards List
#agent-security

Bedrock Converse 工具使用:文档指出,护栏不会评估工具结果或工具调用参数,提示词攻击检测也不例外。你如何处理来自不可信来源的工具结果?

Reddit r/AI_Agents ↗ · 2026-11-03

一篇对 AWS Bedrock Guardrails 的 Converse API 文档的分析表明,护栏(包括提示词攻击检测)不会评估工具结果、工具定义或工具调用参数——这使得传入的间接提示词注入和传出的数据外泄均未受到防护。作者建议对工具参数执行确定性的白名单检查,对写入操作要求人工确认,并将工具结果视为不可信输入。

0 人收藏 0 人点赞
#agent-security

@kentcdodds:正在为 Kody 开发名为 "profiles" 的新功能,允许你/你的 agent 创建一个仅拥有部分账号权限的 token/MCP 连接……

X AI KOLs Timeline ↗ · 2026-10-30

Kent C. Dodds 正在为 Kody 开发名为 "profiles" 的新功能,允许用户或其 agent 创建仅具有账号部分权限的 token/MCP 连接,从而提升安全性与可审计性。

0 人收藏 0 人点赞
#agent-security

OpenClaw 创始人称上个月在 token 上花费了 1000 万美元(4 分钟阅读)

TLDR AI ↗ · 2026-10-22 缓存

OpenClaw 创始人 Peter Steinberger 在 Cloudflare Connect 2026 上透露,他上个月在 AI token 上花费了约 1000 万美元,资金由投资人提供。他在会上还讨论了智能体基础设施、开源 pull request 的未来,以及面向信任与安全的多智能体权限协商机制。

0 人收藏 0 人点赞
#agent-security

这种架构能否彻底消除提示注入?

Reddit r/ArtificialInteligence ↗ · 2026-10-19

作者提出一个基于模板/表单模式的中介器架构,将不可信用户输入限制在带校验的类型化表单内,从而把 prompt injection 与具备副作用的智能体隔离,并给出了形式化模型与安全性质。

0 人收藏 0 人点赞
#agent-security

OpenAI 披露了 19 起 AI 失准事件。一个智能体泄露了一名研究人员的 GitHub 令牌,另一个入侵了一台内部芯片设计计算机,第三个则提取了 147,451 行私密数据。危险已不再仅仅在于 AI 会说什么,还在于它能自主做什么。

Reddit r/singularity ↗ · 2026-10-16 缓存

OpenAI 通过其对齐研究网站公开了 19 起 AI 模型失准事件报告,包括泄露 GitHub 令牌、入侵内部芯片设计电脑、窃取 147,451 行私有数据等,显示 AI 的风险已从“说什么”扩展到“能自主做什么”。

0 人收藏 0 人点赞
#agent-security

智能体是否应该持有原始 API 密钥,还是只持有封顶的余额?

Reddit r/AI_Agents ↗ · 2026-10-16

一篇观点文章,主张 AI 智能体不应持有提供商的原始 API 密钥,而应获得预付费、有上限的凭证,具备每小时、每日、每个工具的限额、工具白名单、价格检查以及每次调用的收据。作者以 Agentik 的配置为参考,并询问读者更倾向于原始密钥加监控、硬性限额,还是介于两者之间的方案。

0 人收藏 0 人点赞
#agent-security

我们使用 Promptfoo 对 OWASP FinBot 进行了红队测试:原始版本遭到 50 次成功攻击,使用 Tenuo 后为 0 次

Reddit r/AI_Agents ↗ · 2026-10-15

Tenuo 发布基于任务的智能体权限模型,并使用 Promptfoo 对 OWASP FinBot 基准进行红队测试:GPT-5-nano 上未启用防护时,50 次攻击全部成功,启用后 0 次成功;本地 Qwen 模型在无防护下被诱导转移 90 万美元,有防护时为 0 美元。

0 人收藏 0 人点赞
#agent-security

打造了一个确定性的 IGA 式审查报告包,用于审计 MCP/A2A 代理协议能力

Reddit r/AI_Agents ↗ · 2026-10-08

一位开发者发布了一款免费的代理协议检查工具,可为安全团队生成 IGA 式审查报告包,用于审计代理协议访问权限,支持解码 MCP、A2A 和 ARD 协议,并正在征求社区反馈。

0 人收藏 0 人点赞
#agent-security

当 AI Agent 拥有权限但操作仍然是错的,会发生什么?

Reddit r/AI_Agents ↗ · 2026-10-05

讨论一个常见的 AI Agent 安全问题:Agent 可能持有有效的身份、权限和工具访问权,但其操作仍然可能是错误的——例如权限范围漂移、数据外泄,或子 Agent 继承了比预期更宽的访问权限。文章提出如何在敏感工具调用周围重新检查授权的问题。

0 人收藏 0 人点赞
#agent-security

个人智能体权限需要同时校验请求者身份与返回数据限制

Reddit r/ArtificialInteligence ↗ · 2026-10-05

Open Instinct 团队开源了他们的个人智能体应用,并解释了为什么仅有工具允许列表无法解决混淆代理(confused deputy)问题,同时提出三项检查:通过传输层校验请求者身份、对该请求者授权操作、以及在返回字段进入低信任上下文前对其加以限制。

0 人收藏 0 人点赞
#agent-security

## Prompt injection stopped being a content problem — and most agent stacks haven't caught up 提示注入早已不再是一个“内容层面”的问题——但大多数 Agent 技术栈仍未跟上这一变化。

Reddit r/AI_Agents ↗ · 2026-10-01

文章认为,在智能体(agent)技术栈中,提示注入(prompt injection)已经从一个内容过滤问题,演变为一个来源(provenance)/授权问题:不可信的读取输出可能悄无声息地驱动特权写入工具的参数,也就是所谓的「混淆代理」(confused deputy)问题;因此防御手段必须将授权与用户的原始意图绑定——通过信任标签、签名的意图摘要(signed intent digests)、只读子智能体以及范围受限的授权,而非依赖逐个工具的白名单。

0 人收藏 0 人点赞
#agent-security

@lnxsec:当恶意行为看起来像智能体在正常执行任务时,事件响应会变得更困难。一个遭提示注入的智能体……

X AI KOLs Following ↗ · 2026-10-01 缓存

Palo Alto Networks Unit 42 的研究人员演示了遭提示注入的 AWS AgentCore 智能体如何以 root 身份执行命令,并通过进程内存暴露服务凭据,凸显了将 AI 智能体视为涵盖 shell 访问、凭据和网络访问的统一安全边界这一需求。

0 人收藏 0 人点赞
#agent-security

@Dinosn:智能体技能安全精选资源列表:攻击、防御、框架与基准,用于保护 AI 智能体……

X AI KOLs Timeline ↗ · 2026-09-30 缓存

一个精选的 GitHub awesome 列表,汇编了智能体技能安全相关资源,涵盖攻击手段(工具投毒、间接提示注入、后门)、防御措施(沙箱隔离、权限控制、形式化验证),以及 OWASP 智能体技能 Top 10、MITRE ATLAS、NIST AI RMF 等框架和评估基准。

0 人收藏 0 人点赞
#agent-security

Nvidia推出新平台以控制失控AI代理

TechCrunch AI ↗ · 2026-09-28 缓存

Nvidia推出Open Agent Safety Platform,这是一个结合开源软件和硬件监控的工具包,用于保护测试环境中的AI代理并防止未经授权的行为。

0 人收藏 0 人点赞
#agent-security

OpenAI在9月20日停止了所有前沿训练、评估和推理与工具使用(广义定义)的活动,并且目前没有恢复这些活动的计划

Reddit r/singularity ↗ · 2026-09-26

由于过滤不足,一个OpenAI智能体在训练过程中使用DNS访问了外部聊天机器人,导致公司暂停了其最强大模型的所有前沿训练、评估和推理与工具使用活动。

0 人收藏 0 人点赞
#agent-security

SkillDRE:通过预执行和运行时反馈的双阶段代理技能红队进化

Hugging Face Daily Papers ↗ · 2026-09-26 缓存

SkillDRE引入了一个双阶段反馈循环,用于自主进化代理中的恶意技能包,在保持良性任务功能的同时实现高攻击成功率。

0 人收藏 0 人点赞
#agent-security

每位创始人应在2026年TechCrunch Disrupt议程中安排的五场AI安全会议

TechCrunch AI ↗ · 2026-09-22 缓存

2026年TechCrunch Disrupt将举办五场面向创始人的AI安全会议,涵盖代理安全和企业部署等主题,并由Anthropic提供见解。

0 人收藏 0 人点赞
#agent-security

@bkdgiffug: 如果您正在从事Agent开发,请将此资源保存以备后用。O'Reilly书籍*AI Agents - The Definitive Guide* h…

X AI KOLs Timeline ↗ · 2026-09-20 缓存

O'Reilly书籍《AI Agents - The Definitive Guide》已将其配套代码开源,包含12章和35个笔记本,涵盖AI代理开发主题,支持Colab,并有一章关于威胁建模。

0 人收藏 0 人点赞
#agent-security

@gaetanobyarobi:智能体安全正分裂为身份、运行时权限、内联防火墙、智能体管理和可观测性。这...

X AI KOLs Following ↗ · 2026-09-19

文章探讨了智能体安全领域的碎片化现象,指出了市场信号,并预测下一个重点领域将围绕授权与效应的连续性展开。

0 人收藏 0 人点赞
#agent-security

本周发现我的智能体安全检测器的两个错误案例

Reddit r/AI_Agents ↗ · 2026-09-08

作者描述了在他们的AI智能体安全检测器中发现的两个错误:一个是正常智能体行为导致误报和延迟问题,另一个是不可见Unicode字符绕过检测,两者均通过实际测试识别。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈