@cwolferesearch：这篇关于网络安全评估的文章非常适合了解如何构建复杂/逼真的评估。一些关键要点……

这份网络安全评测报告对于理解如何构建复杂/真实的评测非常有用。阅读后的一些关键收获：

1. 近期的评测时间跨度惊人地长。本文概述的网络评测任务，人类解决可能需要超过24小时。运行CyberGym基准测试集的评测套件花费了4万美金的API费用。我们甚至可以根据人类解决时间（即首次解题时间）来划分每个评测任务的难度等级。

2. 任务通常从可靠/经过审核的来源中抽样，以确保质量。例如，CVE-Bench从国家漏洞数据库（National Vulnerability Database）中抽样任务，而CyBench则从专业级别的夺旗赛（Capture-The-Flag）题目中抽样。

3. 对于每个单独的任务，我们可能根据输入的不同，以不同的难度级别来执行任务。最困难的设置是零日模拟，此时只给代理提供有漏洞的代码，不提供其他信息。但我们也可以测试一日场景，此时给代理提供漏洞描述/补丁，期望其进行逆向工程和利用。通过提供不同类型提示，可以创建许多不同的设置，从而允许代理在不同难度级别的网络攻击下进行测试。

4. 漏洞利用的执行方式有很多种，因此大多数网络评测都侧重于验证结果。然而，这往往不够全面——代理可能完成了漏洞利用的90%，但结果验证不会给予任何分数。为了解决这个问题，许多评测收集了一组确定性验证，用于测试在寻找最终攻击过程中所达到的不同级别的漏洞利用程度；例如：发现漏洞 -> 复现漏洞 -> 通过未授权代码执行利用漏洞 -> 实现最终攻击。

5. 一些评测还采用问答（QA）方法来测试代理向漏洞利用的进展。例如，你可以直接要求代理告诉我们易受攻击的代码在哪里，并根据真实结果验证输出。同样地，你也可以直接要求代理提供夺旗赛的字符串。与运行对话记录审核相比，这是一种非常灵活的方法。

非常棒的文章，十分推荐阅读！