论文页面 - CyberArena：在实时对称攻防对抗中评测 AI 智能体

来源：https://huggingface.co/papers/2610.19005 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

CyberArena 是一个动态的对抗性基准，通过在持续演化的环境中进行并发多轮攻防对抗来评估 AI 智能体，并借助动态评分模型度量其能力。

AI 智能体在真实世界中正展现出越来越强的攻防网络安全能力。现有基准大多是让智能体在孤立环境中面对静态目标进行评测。然而，真实的网络攻防是动态且相互耦合的：随着攻击方与防御方实时相互适应，安全态势始终在变化。静态基准很快就会饱和，无法捕捉智能体在实时压力下同时进行攻击与防御的能力。为填补这一空白，我们提出 CyberArena（https://huggingface.co/papers?q=CyberArena），一个动态、对称的对抗性基准（https://huggingface.co/papers?q=adversarial%20benchmark），围绕多轮攻防（https://huggingface.co/papers?q=multi-round%20attack-and-defense）对抗构建。在隔离沙箱（https://huggingface.co/papers?q=isolated%20sandboxes）中，两个智能体遵循完全相同的规则展开较量，在持续变化的服务上同时扮演攻击者与防御者。这把静态目标转化为不断演化的半开放式挑战，直接检验智能体发现、利用和修补漏洞的速度与精度。为了维持该基准的长期可用性，一条自动化智能体流水线（https://huggingface.co/papers?q=automated%20agentic%20pipeline）会持续生成、审查并验证新环境。此外，鉴于两两对决众所周知难以量化，我们引入了一个动态模型（https://huggingface.co/papers?q=dynamical%20model），将对局动态映射为覆盖攻击、防御及领域专属能力的统一分维度得分（https://huggingface.co/papers?q=multidimensional%20scores）。在对 12 个前沿 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）进行的 466 场、涵盖 40 项挑战的评测中，CyberArena（https://huggingface.co/papers?q=CyberArena）在单智能体基线已经触及天花板之处，进一步区分出了模型能力的差异。这些轨迹读起来更像一场战斗而非一场考试：防御方补上一个漏洞却漏掉下一个，还基于过期证据宣称修复完成；而有能力的智能体会多想一步，为后续回合预先植入后门，在其中一个案例中甚至自己编写数据包嗅探器来监视对手。超越基准本身，CyberArena（https://huggingface.co/papers?q=CyberArena）还作为一个可适配、可扩展的实验平台，服务于未来关于网络安全智能体（https://huggingface.co/papers?q=cybersecurity%20agents）的研究。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19005)查看 PDF (https://arxiv.org/pdf/2610.19005)项目主页 (https://cyber-arena.ai/)GitHub7 (https://github.com/cyber-arena-ai/cyber-arena)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19005)

在你的智能体中获取这篇论文：

hf papers read 2610\.19005

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.19005 即可从本页面链接到它。

引用本文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.19005 即可从本页面链接到它。

引用本文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.19005 即可从本页面链接到它。

收录本文的合集0

没有合集收录本文

将本文添加到合集 (https://huggingface.co/new-collection)即可从本页面链接到它。