保护AI智能体:多层级智能体红队测试的统一框架
摘要
AI-Infra-Guard 是一个开源框架,用于对AI智能体进行多层红队测试,涵盖基础设施、协议、行为及模型层,并采用多种检测范式。
查看缓存全文
缓存时间: 2026/07/06 06:35
论文页面 - 保障AI智能体安全:面向多层智能体红队测试的统一框架
来源:https://huggingface.co/papers/2606.31227
摘要
AI-Infra-Guard 是一个开源框架,通过跨越基础设施、协议、智能体行为和模型层的分层检测范式来应对 AI 基础设施安全挑战。
从模型推理引擎、智能体平台到 Model Context Protocol (https://huggingface.co/papers?q=Model%20Context%20Protocol)(MCP) 生态系统以及语言模型本身,开源 AI 基础设施的快速发展已远远超出了现有安全工具所能防御的范围。我们提出 AI-Infra-Guard,这是一个开源框架,它将 AI 红队测试 (https://huggingface.co/papers?q=AI%20red%20teaming) 围绕一个核心观察来组织:AI 智能体的攻击面在不同层面(基础设施、协议/工具、智能体行为和模型)分层呈现,而没有任何单一的检测范式能适用于所有层面。因此,该框架为每一层匹配一种检测范式,从基于规则的确定性匹配(覆盖 75+ 个 AI 组件和 1400+ 条漏洞规则),到 LLM 驱动的智能体审计 (https://huggingface.co/papers?q=LLM-driven%20agentic%20auditing)(用于审计 MCP 服务器和智能体技能包),再到多轮黑盒智能体红队测试 (https://huggingface.co/papers?q=black-box%20agent%20red%20teaming) 以及一个包含 26+ 种攻击算子、覆盖十六个数据集的越狱测试工具 (https://huggingface.co/papers?q=jailbreak%20harness)。据我们所知,这是唯一一个覆盖所有这些层面的开源框架,包括对日益扩展 AI 智能体的智能体技能进行供应链审计 (https://huggingface.co/papers?q=supply-chain%20auditing)。我们以开源形式发布 AI-Infra-Guard,希望层-范式匹配 (https://huggingface.co/papers?q=layer-paradigm%20matching) 能够成为智能体安全的实用基础,并为社区提供可共享的成长基石。
查看 arXiv 页面 (https://arxiv.org/abs/2606.31227)查看 PDF (https://arxiv.org/pdf/2606.31227)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.31227)
在您的智能体中获取本文:
hf papers read 2606\.31227
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.31227 以从本页面链接。
引用本文的数据集0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.31227 以从本页面链接。
引用本文的 Spaces0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.31227 以从本页面链接。
包含本文的收藏集0
没有收藏集包含此论文
将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。
相似文章
保障AI代理的未来安全
DeepMind推出了AI Control Roadmap,这是一个深度防御框架,用于保护内部AI代理免受潜在的不对齐问题的影响,将其视为内部威胁,并实施分层检测、预防和响应措施。
@0x0SojalSec: Awesome AI Security:每个人都在争相部署AI代理,但几乎很少有人正确保护它们。该仓库汇集了…
一个精心整理的GitHub仓库,汇集了用于保护AI系统的框架、工具、攻击矩阵、红队指南、政策模板、数据集及研究,涵盖提示注入、越狱以及OWASP/NIST标准等主题。
通往AGI之路中的安全保护
OpenAI 概述了在通往 AGI 过程中的全面安全措施,包括由 AI 驱动的网络防御、与 SpecterOps 的持续对抗性红队测试,以及为 Operator 等新兴 AI 代理设计的安全框架。该公司强调主动威胁检测、业界合作,以及安全措施与基础设施和模型的深度集成。
按治理层而非功能列表划分的AI智能体管理工具
分析指出,大多数企业AI智能体安全投资集中在模型层护栏和可观测性,在访问层和协议层留下了关键缺口。援引2026年报告,75%的企业AI智能体仍处于未保护状态,原因是这些层的覆盖面几乎为零。
用人和AI推进红队测试
OpenAI 发布了一份白皮书,详细说明了他们对AI模型进行外部红队测试的方法,包括选择多样化红队成员、确定模型访问权限、提供测试基础设施以及整合反馈以改进AI安全和政策覆盖范围的方法。