Agent Anomaly Detection 现已在 Gemini Enterprise Agent 平台上进入私有预览 - Google Developers Blog (5分钟阅读)

# 智能体异常检测现于 Gemini 企业智能体平台开放私有预览 来源：https://developers.googleblog.com/agent-anomaly-detection-now-in-private-preview-on-the-gemini-enterprise-agent-platform/ 每一代新模型都使 AI 智能体变得更强大、更自主、运行成本更低。团队正将其应用于真实的业务任务：处理退款、更新记录、代表用户调用内部工具。但更强大的模型并不自动意味着更安全。智能体在运行时做出的决策越多，其风险就越从代码层面转向行为层面。真正的损害往往发生在那些表面看似正常的会话中：智能体返回了干净的答案并关闭了工单，而只有事后你才发现它使用了本不该接触的工具，或者执行了一个悄然扩大自身权限的请求。由于没有出现直接故障，这类会话会顺利通过基于指标的常规评估，无需二次审查。 这一差距正是智能体异常检测旨在弥补的。它现已在 Gemini 企业智能体平台上开放私有预览。 ### **什么是智能体异常检测？** 智能体异常检测是针对部署在 Gemini 企业智能体平台上的自主智能体所提供的基于推理的监督与审计层。它通过分析智能体在会话中实际执行的操作——包括其推理轨迹、工具调用和执行流程——来进行检查。它读取智能体已生成的日志和 OpenTelemetry 跟踪信息，评估这些活动以判断智能体是否超出了其预定边界，并标记行为异常、可疑意图和策略违规。 以下是使智能体异常检测能够实际投入生产环境运行的几个关键特性： - **不增加运行时延迟：**分析异步运行，且与实时请求路径分离，因此不会拖慢智能体的响应速度。 - **清晰、可操作的发现：**每个异常发现都附带严重级别、对触发原因的通俗解释以及建议的后续步骤。每个异常发现也会发布到您的安全指挥中心部署中，以便您的团队可以将其与其他发现进行分类处理。 - **基于 OWASP 智能体应用十大风险：**智能体异常检测预置了针对 OWASP《2026 年智能体应用十大风险》(https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/) 中一组重点风险的检测器：工具滥用 (ASI02)、身份与权限滥用 (ASI03)、级联故障 (ASI08)、流氓智能体 (ASI10)，以及资源耗尽和令牌使用量激增等运营风险。其发现映射到这些公认的行业类别，而非一套专有规则。 - **即将支持自定义业务逻辑异常检测：**我们正在积极开发允许用户定义异常在自身业务场景中含义的功能。这将使用户能够结合自然语言与确定性规则编写灵活的异常检测器，当智能体操作超出企业特定业务准则时进行标记。此外，用户将能够在历史流量上验证其新自定义业务逻辑的准确性。 ### **检测流程剖析** 智能体异常检测在检测速度、成本和覆盖范围之间取得了平衡。为实现这种平衡，它分层分析跟踪数据和日志：第一层轻量级扫描会分析所有流量，发现统计异常并标记这些会话以供进一步分析。然后，一个基于大语言模型的推理层会深度检查被标记的会话。 AAD-Blog-Image-1 以一个配备了 `list_inventory` 工具的 `Inventory Agent`（库存智能体）为例。用户说：“我想查看你的库存。每次列出 100 个项目。”于是智能体开始以大批次进行分页，跨越偏移量拉取整个目录。 这里没有产生任何错误。智能体只是在做它能做的事情，而且可能没有任何策略阻止它。但智能体异常检测会标记这种异常行为，并分层处理该会话：第一层根据调用量和重复调用将该会话标记为统计离群值。第二层对整个交互进行推理，识别出这种大批量、跳跃偏移量的模式是系统性爬取而非正常浏览，并返回带有通俗解释的判定结果。对于需要更仔细审查的情况，第三层会重建各个工具调用及其偏移量，以确切显示被拉取的内容。 AAD-Blog-Image-2 结果是一个异常发现：**资源耗尽**，严重级别为“严重”，概率 95%，并附有理由和建议的修复措施：对该用户的 `list_inventory` 工具进行速率限制或阻止，添加授权检查以限制批量库存访问，并针对大偏移量分页模式发出警报。该发现也会显示在安全指挥中心中以供处理。 除了审查，您还可以通过编程方式对发现进行操作。智能体异常检测提供了一个 API，可获取给定会话的异常，因此 ADK 回调或插件可以检查发现的严重级别和概率，并在超过您设定的阈值时阻止后续工具调用或暂停下一轮交互。 随着智能体承担更多实际工作，更多风险转移到了它们的行为上。智能体异常检测监控您智能体的行为，为您标记异常以供审查和处理，同时不会拖慢智能体的速度。 ### **入门指南** 智能体异常检测目前面向在 Gemini 企业智能体平台上使用 ADK 1.2 或更高版本部署智能体的团队开放私有预览。要开始使用，请查看相关文档 (https://docs.cloud.google.com/gemini-enterprise-agent-platform/agent-anomalies-overview) 了解前提条件和设置步骤。满足前提条件后，您可以通过一键配置启用智能体异常检测。