Agent Anomaly Detection 在非我们编写的基准测试中的表现(阅读约 8 分钟)

TLDR AI 新闻

摘要

Google 报告称,在 Gemini Enterprise Agent Platform 上的 Agent Anomaly Detection 在五个第三方智能体安全基准测试中,成功标记出了 87% 的已执行有害指令,误报率为 2–16%,但在检测投毒长期记忆攻击方面存在明显不足。

Agent Anomaly Detection 经外部基准测试验证,标记出了 87% 的已执行有害指令,展现出在识别目标劫持和工具滥用方面的优势,但在投毒记忆方面存在弱点。其误报率各不相同,最高达 16%,出现在涉及高影响力工具的任务中。目前的持续改进重点包括:检测细微且潜在有害的操作、区分正常使用与滥用行为,以及为新智能体更快地实现全面覆盖。
查看原文
查看缓存全文

缓存时间: 2026/11/16 08:41

# Agent Anomaly Detection 在非自研基准测试中的得分表现 来源:https://developers.googleblog.com/how-agent-anomaly-detection-scores-on-benchmarks-we-didnt-write/ AI 智能体现在会替用户阅读邮件、预订行程和转移资金。每次工具调用都会引入别人编写的文本,而控制这些文本的人可以尝试操控智能体。OWASP 将此称为智能体目标劫持(agent goal hijack),并在其《Top 10 for Agentic Applications (2026)》(https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/) 中将其列为首位。 图 1 - 间接提示注入 图 1:间接提示注入。有害指令来自工具返回的数据内部,而非来自用户。 今年九月,我们在 Gemini Enterprise Agent Platform 上宣布 (https://developers.googleblog.com/agent-anomaly-detection-now-in-private-preview-on-the-gemini-enterprise-agent-platform/) Agent Anomaly Detection 进入 Private Preview。它异步读取智能体的追踪和日志,不增加延迟,并标记出智能体超出预期边界运行的会话。我们针对智能体目标劫持这一首要风险的基准测试对该功能进行了测试。 安全工具往往在自家团队编写的测试中表现优异,因此我们选取了五个非 Google 编写的公开智能体安全基准测试,在不做任何改动的情况下直接运行 Agent Anomaly Detection。其中四个基准测试中,有害指令隐藏在工具返回的数据里;第五个基准测试中,用户直接提出有害请求。 模型本身约有一半的有害指令没有被执行。在直接有害请求中,它拒绝了四分之三;在隐藏于工具输出的指令中,约 30% 被忽略或执行失败。在确实被执行的那些指令中,Agent Anomaly Detection 标记了 87% 供执行后审查。根据智能体使用的工具不同,在良性会话中产生了 2% 到 16% 的误报。被投毒的记忆是明显的短板:当植入智能体长期记忆中的指令导致其行动时,Agent Anomaly Detection 仅在 18 次中捕获了 4 次。 ### **测试方法** 图 2 - 测试设置 图 2:测试设置。Agent Anomaly Detection 和基准测试的检查脚本看到的是同一次智能体运行,但只有检查脚本会读取应用的最终状态。 我们通过 Agent Development Kit (ADK) 构建的智能体运行每个基准测试用例,使用 `gemini-2.5-flash` 模型,运行在基准测试的模拟应用上。智能体将追踪和日志发送给 Agent Anomaly Detection,就像客户的真实智能体一样。然后,基准测试自带的 Python 检查脚本读取应用的最终状态(例如资金是否已离开账户),并为该会话打标签。标签由确定性代码决定,而非模型,因此注入的指令无法误导评分器,Agent Anomaly Detection 也无法作弊。每个智能体首先运行至少 300 个良性会话,因为 Agent Anomaly Detection 需要学习每个智能体的正常行为模式。 我们还记录了工具是否将有害指令返回给了智能体。在许多情况下,智能体从未打开包含该指令的邮件或文件。因此每个有害会话最终以三种情况之一结束: - **从未读取**:没有工具返回该指令,智能体从未看到它。 - **已抵抗**:智能体读取了指令但没有遵从。这包括尝试遵从但失败的情况。 - **已执行**:智能体读取并遵从了该指令。由基准测试自带的检查脚本判定。 在 AgentHarm 中,请求由用户发送,因此智能体总是会读取到它。 五个基准测试分别是 AgentDojo (https://arxiv.org/abs/2406.13352)(NeurIPS 2024)、InjecAgent (https://arxiv.org/abs/2403.02691)(ACL 2024 Findings)、Agent Security Bench (https://arxiv.org/abs/2410.02644)(ASB,ICLR 2025)、AgentDyn (https://arxiv.org/abs/2602.03117)(2026)和 AgentHarm (https://arxiv.org/abs/2410.09024)(ICLR 2025)。ASB 将指令植入智能体的长期记忆。总计,Agent Anomaly Detection 对 1,774 个会话进行了评分。 ### **测试发现** Agent Anomaly Detection 标记了智能体已执行的有害指令中的 87%,在日常办公任务中产生了少量误报。它在目标劫持和工具滥用方面表现最强,在被投毒的记忆方面最弱。 ### **按 OWASP 类别的结果** 每个发现都带有威胁类别,Agent Anomaly Detection 的五个类别中有四个与 OWASP《Top 10 for Agentic Applications》对齐。我们根据本研究实际展现的结果为每个 OWASP 类别打分,而非依据 Agent Anomaly Detection 的设计能力。 表格 - 按 OWASP 类别的结果 公开基准测试集中在目标劫持和工具滥用上,因此我们的证据在这两方面最强。我们没有找到带有标注智能体追踪数据的公开基准测试来评估级联失败或身份与权限滥用。共享这些类别的基准测试将有助于整个领域。 ### **Agent Anomaly Detection 标记了大多数绕过模型的行为** 图 3 - 每个有害会话的结果 图 3:在四个具有结果划分的基准测试中,每个有害会话的最终结果。 按基准测试划分,Agent Anomaly Detection 在 AgentDojo 上标记了 85% 已执行的有害指令,在 InjecAgent 上为 87%,在 AgentDyn 上为 99%,在 AgentHarm 上为 81%。在所有有害会话(包括智能体从未读取或已抵抗的)中,标记率为 45% 到 62%。在 141 个智能体从未读取指令的会话中,什么也没有发生,仅标记了 1 个。 图 4 - 已执行且被标记的有害指令,按应用划分 图 4:对于每个应用,智能体已执行且被 Agent Anomaly Detection 标记的有害指令占比。部分应用的样本量较小。 **结果在各应用间保持一致**。在 11 个应用中的 8 个里,Agent Anomaly Detection 标记了至少 95% 已执行的有害指令。最低比率出现在 AgentDojo 的 Slack 应用,为 63%。其中许多指令要求执行一个很小的动作,例如访问某个页面,这看起来与正常浏览无异。 ### **被拒绝的请求仍会留下记录** Agent Anomaly Detection 也会标记许多被智能体拒绝的请求。在 AgentHarm 中,智能体拒绝了大部分请求,在 412 个请求中仅执行了 108 个,但 Agent Anomaly Detection 仍然标记了 55% 的被拒会话,因为请求位于用户自己的消息中,而它会读取该消息。当智能体没有遵从隐藏在工具输出中的指令时,它仅标记了 11% 到 25%,因为该指令深埋在工具结果内部。 ### **误报率取决于智能体的日常工具** 在日常办公任务中误报很少:在三个注入基准测试中(其良性会话为办公任务),Agent Anomaly Detection 标记了 2% 到 4% 的良性会话。在 AgentHarm 上则标记了 16%。这些良性任务与有害任务是"双胞胎"——它们也会发布社交媒体内容、运行终端命令和下载文件。在正常使用中看起来与滥用行为相似的高影响工具是误报的来源。 ### **仍在改进的方面** Agent Anomaly Detection 在五个方面表现欠佳。它仅标记了智能体已抵抗的指令中的 11% 到 25%,因为被抵抗的指令对智能体行为的改变很小。它漏掉了更多小动作(如单次页面访问),因为这些看起来像正常工作。对于日常工作中使用高影响工具的智能体,它产生了更多误报。如果你的智能体属于此类,初期可以预期会有更多发现,请按严重程度和威胁类别进行分类处理。 另外两个方面是新智能体和被投毒的记忆。Agent Anomaly Detection 的某些方法需要几百个会话的历史数据:在 AgentDyn 上,当每个智能体仅有约 220 个良性会话时,它标记了 33% 已执行的有害指令;当达到 360 个时,标记率为 99%。在被投毒记忆导致智能体行动的 18 个会话中,它仅捕获了 4 个。 我们正在努力的方向: - 报告智能体已抵抗的攻击尝试(以较低的严重程度),让你了解何时有人在探测你的智能体。 - 捕获到达不受信任目标的小动作,例如对未知网页的单次访问。 - 区分高影响工具的正常使用和滥用行为。 - 让新智能体更快获得完整覆盖。 - 更可靠地检测植入长期记忆中的指令。 ### **这对你的智能体意味着什么** **用纵深防御保护你的智能体。** 使用在有害动作执行前进行拦截的控制措施,并用 Agent Anomaly Detection 找出漏网之鱼。 - **发送完整的遥测数据。** 启用 ADK 追踪和日志记录,包括提示和响应内容。 - **过滤不受信任的内容。** 使用 Model Armor 等过滤器检查提示和工具结果中的提示注入。 - **在高风险工具调用执行前进行拦截。** Semantic Governance Policy (https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/policies/semantic-governovernance-overview)(Preview)会将每个拟议的工具调用与用户请求及你的规则进行比对,并拒绝不符合的调用。Agent Anomaly Detection 随后报告绕过它的行为。 - **要求对高影响动作进行审批。** 要求人工批准付款、外发邮件、数据共享,或其他需要人在环路中的动作。 - **限制每个智能体的工具。** 只授予每个智能体其任务所需的工具和权限。 - **审查漏网行为。** Agent Anomaly Detection 不会阻止动作。它报告异常会话,其发现也会出现在 Security Command Center 中;请将 Critical 和 High 级别的发现路由给你的事件响应团队。 ### **本研究的局限性** 我们只使用了一个智能体模型和模拟应用,基准测试的良性任务可能比你的生产流量更简单,因此你的误报率可能有所不同。对于约 6% 我们发送的会话,Agent Anomaly Detection 没有返回结果;将这些计为漏报会使整体比率下降 1 到 2 个百分点。 ### **试用 Agent Anomaly Detection** Agent Anomaly Detection 目前处于 Private Preview。要申请访问权限,请阅读 Agent Anomaly Detection 概述 (https://docs.cloud.google.com/gemini-enterprise-agent-platform/agent-anomalies-overview)。

相似文章