论文页面 - 从受控到真实：面向现实世界的渗透测试代理评估

来源：https://huggingface.co/papers/2605.10834

摘要

AI渗透测试代理作为进攻性安全系统的可信度日益提升，但现有基准仍难以提供关于哪些代理在真实世界目标上表现最佳的有限指导。当前的评估协议在简化或狭窄环境中，针对预定义目标（如夺旗、远程代码执行、漏洞复现或轨迹相似性）进行评估和优化。这些工具对衡量有限能力很有价值，但未能充分捕捉真实渗透测试所需的复杂性、开放式探索和战略决策。本文提出了一种实用的评估协议，将评估重点从任务完成转向已验证的漏洞发现，从而允许在覆盖多个攻击面和漏洞类别的足够复杂的目标上进行评估。该协议结合了结构化真值与基于LLM的语义匹配以识别漏洞，二分图解析在现实歧义下对发现进行评分，持续的真值维护，对随机代理进行重复和累积评估，效率指标，以及用于可持续实验的缩减测试集选择。该协议通过实现更真实、更具操作信息性的AI渗透测试代理比较，扩展了现有技术水平。为促进可复现性，我们还发布了专家注释的真值和所提出评估协议的代码：https://github.com/ethiack/ethibench。

查看 arXiv 页面 (https://arxiv.org/abs/2605.10834)查看 PDF (https://arxiv.org/pdf/2605.10834)GitHub64 (https://github.com/ethiack/ethibench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.10834)

在您的代理中获取本篇论文：

hf papers read 2605.10834

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.10834 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.10834 以从此页面链接。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2605.10834 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

添加此论文到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。