论文页面 - 超越成功率：攻防安全代理的代价感知评估

来源：https://huggingface.co/papers/2607.15263

摘要

安全代理评估通常在高推理预算下衡量其峰值攻击能力，重点考察漏洞发现、利用开发、渗透测试和CTF完成情况。这类衡量指标虽有价值但并不全面：在运营安全场景中，每一次推理步骤、工具调用、遥测查询和丰富化请求都会消耗预算。本文通过成本-成功双重视角，对基于语言模型的安全代理进行了评估，涵盖进攻性Cybench挑战和防御性Splunk BOTSv1调查挑战。我们不再仅报告最佳成功率，而是在固定成本水平下对比各模型，并按推理开销与工具开销分解性能表现。研究结果显示出红队与蓝队任务迥异的扩展规律。进攻性CTF性能随测试时计算量的增加而提升，且扩展后的开源权重模型能接近前沿专有系统的水平，同时保持成本竞争力。防御性SOC调查的扩展方式则不同：成功更依赖于规范的工具使用、遥测导航和选择性丰富化，而非仅凭原始推理预算。我们认为，安全代理基准测试应在任务成功之外衡量经济效率和运营适配度。代价感知、SOC原生的评估方式能更清晰地揭示哪些模型在当前具有实际可用性，以及防御代理仍需要在哪些方面取得改进。我们在交互式网站https://evals.frontier.security/上展示了我们的结果。

查看arXiv页面（https://arxiv.org/abs/2607.15263）查看PDF（https://arxiv.org/pdf/2607.15263）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.15263）

在您的代理中获取这篇论文：

hf papers read 2607\.15263

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

尚无模型链接此论文

在模型README.md中引用arxiv.org/abs/2607.15263以将其链接至此页面。

引用此论文的数据集0

尚无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2607.15263以将其链接至此页面。

引用此论文的Space0

尚无Space链接此论文

在Space README.md中引用arxiv.org/abs/2607.15263以将其链接至此页面。

包含此论文的收藏集0

尚无收藏集包含此论文

将这篇论文添加到一个收藏集（https://huggingface.co/new-collection）中以将其链接至此页面。