WANDR基准测试：评估需要搜索广度与深度的研究代理（阅读时间15分钟）

# WANDR基准测试：评估需广度和深度搜索的研究智能体 来源：https://research.perplexity.ai/articles/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep 今天，我们发布**WANDR**\(广度和深度研究\) (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf)，这是一个围绕500个真实的、具有挑战性的知识工作数据收集任务构建的开放式基准测试和评估框架。WANDR是我们用于深度研究的DRACO基准测试 (https://research.perplexity.ai/articles/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark) 的"广度"版本。DRACO测试智能体能否生成准确、完整且客观的长篇报告；而WANDR则测试它能否构建一个大型集合，并为每一条记录提供具体的证据。 这些是人类已经交给研究智能体处理的任务类型：竞争对手图谱绘制、尽职调查、文献综述、市场分析、产品比较、人才搜寻等等。任务涉及的记录数量从几十到几千条不等，且每条记录均可独立验证。即使在高努力设置下，我们评估中最强的系统也仅达到**0.363软F1**和**0.133硬F1**。广度和深度研究仍有很长的路要走。 ## 为何广度和深度研究至关重要 许多有用的研究工作并非在智能体找到一个答案后就结束了。市场分析师可能需要每一个符合条件的竞争对手，并为每一家提供相同的证据。尽职调查团队可能需要几十家公司，然后调查每家公司的所有权、高管、融资和监管状况。这产生了两个不同的需求： - **广度：**发现大量且通常是开放式的符合条件的实体集。 - **深度：**对每个实体进行足够深入的调查，以便为每个要求的声明提供证据支持。 将两者结合会改变问题性质。少量引人注目的例子是不够的，基于不完整研究的精美叙述也同样不够。智能体必须在保持广泛发现能力的同时，从一条记录到另一条记录都不牺牲事实质量。 WANDR通过一个灵活、可组合的*资格键层次结构*来捕捉这种结构。一个任务可能要求： `公司\(n\) → 员工\(m\) → 网址\(k\)` 这意味着要找到*n*家符合条件的公司，每家公司的*m*名符合条件的员工，以及每名员工的*k*个支撑页面。树中的每条完整路径都可以独立验证。同样的基本结构可以表示一个平面列表、一个嵌套搜索、一个矩阵或一个具有多条证据分支的任务。这些模式也可以组合，使一种表示形式能够覆盖广泛的现实世界用例。 拓扑图预览 ###### 六种常见的层次模式。实心圆是实体，虚线圆是固定标签，方块是URL叶子。在矩阵中，重复的子标签表示不同父节点下的相同子值。 一个发布的示例任务展示了这种结构在实际中的应用。 > `ceo\_cfo\_appointments` **主要任务。**寻找至少70家美国公司，其CEO或CFO的任命首次公告日期在2026年3月1日至4月30日之间。对于每家公司，提供一条权威的任命页面，该页面需指明公司和被任命者，明确角色和公告日期，并且来源为发行人、备案文件、新闻通讯社或直接归属的第一手商业新闻报道。 **主要层次结构。**`公司\(70\) → 公司\_被任命者\(1\) → 网址\(1\)`。 **公司上市子任务。**对于相同的公司，提供一条公认的上市权威页面，显示其在美国国家证券交易所上市，或作为美国境内SEC交易法报告发行人的状态。 **子任务层次结构。**`公司\(70\) → 网址\(1\)`。 **所需记录数。**140条：70条任命记录加上70条上市记录。 每条路径的终点都是一个页面和摘录，评分者可以重新检查。共享的公司键将任命和上市分支对齐，因此，如果没有独立的上市状态证明，即使有任命记录，该公司仍是不完整的。 ## 大规模生成逼真任务 WANDR从生产使用中观察到的去标识化模式出发，而非合成提示。这使基准测试贴近人们实际委派的工作：开放式的发现、重复的数据丰富、跨源检查以及专业规模的结构化比较。一个半自动化的流水线将这些模式转化为任务，将人力保留用于质量控制，而非详尽答案的注释。 该流水线包含四个阶段。**播种**阶段挖掘去标识化的产品请求，提取可重复使用的广度研究模式。**创作**阶段运行一个交错进行的"创作者-批评者"循环：智能体草拟并压力测试设计，编写任务规范和裁判代码，创建固定记录，并使用机械化的代码检查工具保持一切对齐。**准入**阶段通过合并10-12次创作运行的结果来检查目标数量是否可达，审计特定任务的裁判代码，并可选择加入人工签核。**策展**阶段为已准入的任务打标签，并在主题、规模、拓扑和难度方面选择一个平衡的最终集合。 任务构建过程图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) *任务构建流水线包含四个阶段。播种阶段识别出真实请求；创作阶段通过创作者-批评者循环和机械化检查将其转化为自包含的任务；准入阶段测试可行性和裁判质量；策展阶段选择平衡的发布版本。输出是500个公共任务包。* 中位数任务要求包含50个成员、每个成员4条记录，以及总共245条记录。总体而言，500个任务要求提供170,495条有来源支持的记录。我们根据历史设计阶段的运行结果校准难度，然后按排名将任务分为167个较低、166个中等和167个较高难度的示例。下图显示难度并非仅由规模决定，还取决于每条记录所需的工作量。 广度深度图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 广度-深度平面上的总体任务难度（双对数坐标；500个基准测试任务）。广度是所需成员数量；深度是所需记录数除以成员数。点的颜色代表总体难度标签。虚线标记了中位数广度（50个成员）和中位数深度（每个成员4.00条记录）。 ## 无参考答案、基于证据验证的评分 固定答案集不太适用于开放性的研究任务。它构建成本高昂，容易过时，并且无法很好地代表答案随时间变化的查询。WANDR转而根据智能体引用的证据来评分每条提交的声明。 每条记录包含一个项目、一个URL、选定的摘录和一个答案。评分器重新获取页面，检查是否可用、声明是否清晰且在范围内、摘录是否忠实出现在页面上，以及页面和摘录是否支持所有要求。 这些二进制的记录判定通过层次结构汇总。**精确率**衡量系统提交结果的质量。**召回率**衡量经质量调整后对请求数量的完成度，任何不足均以零填充。**F1**平衡了这两者。软分数对不完整的成员给予部分学分；硬分数仅计算其完整必需子树完全正确的成员。为了诊断，WANDR还报告一个仅检索的判定，该判定先询问获取的页面是否满足任务要求，然后再进行关于有效性和提交摘录的更严格检查。 这使得失败变得可解释和可定位。高精确率但低召回率通常意味着系统找到了一些好的成员，但数量不足。软分数到硬分数的大幅下降意味着系统取得了部分进展，但很少能完成获得全部学分所需的每个分支。得分树可以将损失定位到发现、数据丰富、身份处理、页面资格或证据提取环节。 评估流水线图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 评分流水线。Solve对每个系统的输出进行标准化；Fetch检索每个引用的页面并在浏览器中重试失败的获取；Judge解析身份并评估每条记录；Score将判定汇总为任务级别的精确率、召回率和F1。 ## 我们发现 我们比较了六个生产系统：托管的任务和搜索API、通用的Web智能体API、一个深度研究产品，以及我们程序化的搜索编排系统，即Search as Code (SaC) (https://research.perplexity.ai/articles/rethinking-search-as-code-generation)。每个系统都在固定配置下在全部500个任务上运行，然后通过相同的获取、裁判、身份解析和评分流水线。 Perplexity Search as Code 以**0.363软F1**和**0.133硬F1**领先。Anthropic以0.249和0.072位居第二；其他系统的软F1最高为0.121，硬F1最高为0.035。没有系统在质量和效率上同时占据主导地位。Perplexity的成本位于中间范围，每个任务5.20美元，中位数解决时间为14.9分钟，每个任务报告380万个token。OpenAI和Exa更快更便宜，但得分低得多。Anthropic在质量上最接近，但使用的时间、金钱和token要多得多。 性能成本F1图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) 性能成本图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 软和硬精确率及召回率\(上\)，以及软和硬F1\(下\)，与成本、中位数解决延迟和报告的token使用量的关系。越高且越靠左越好。Exa和Parallel在token视图中缺失，因为它们不公开token计数。 我们还在相同的45个任务子集上评估了每个可用的努力设置。更多努力在每一步都提升了Perplexity、Gemini和Exa的性能；Perplexity在`xhigh`设置下达到0.447软F1和0.224硬F1。然而，更高的努力并不总是更好：OpenAI在`high`设置达到顶峰，而Parallel的硬F1在`ultra2x`和`ultra4x`之间略有下降。成本跨度超过四个数量级，从Exa `low`设置的每个任务0.03美元到Gemini `max`设置的324.83美元。 补充努力软F1图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) 补充努力F1图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 在匹配的45个任务子集上，所有可用努力设置下的软F1\(上\)和硬F1\(下\)。颜色越深的路径表示努力水平越高。 有四个发现尤为突出。 **部分进展很常见，但完全覆盖则不然。**每个系统的软召回率都低于软精确率，这意味着一旦将请求的全部数量纳入分母，性能就会下降。Perplexity的精确率为0.389，召回率为0.357，差距最小；Anthropic从0.354降至0.222。软到硬的转换更为严苛。Perplexity从0.363软F1降至0.133硬F1，而Anthropic从0.249降至0.072。最佳硬精确率为0.150，最佳硬召回率为0.134：即使是领先者也仅能为其提交的约七分之一成员以及任务要求的约七分之一成员获得全部分数。 **规模放大了问题。**从最小到最大的目标数量区间，Perplexity的硬精确率从0.235降至0.096，硬召回率从0.219降至0.079。Anthropic从0.205降至0.113，从0.127降至0.042；OpenAI从0.109降至0.034，从0.102降至0.016。召回率的下降速度通常快于精确率：系统可能保持一小部分完整的成员，但同时覆盖请求集合的范围越来越小。 更深的层次结构带来的惩罚更为严苛。从没有中间键到有三个或更多中间键，Perplexity的硬精确率从0.392降至0.019，硬召回率从0.378降至0.017；Anthropic从0.311降至0.049，从0.229降至0.022；OpenAI从0.136降至0.012，从0.120降至0.011。每增加一个分支，成员就可能错过非全即无的硬分数。成本和延迟没有共同单调模式。 缩放分析图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 目标记录数量\(上\)和中间层次深度\(下\)对应的硬精确率、硬召回率、中位数解决延迟和平均成本。每条线代表一个固定的主要运行配置。为便于阅读，线条连接了任务桶聚合值，并不表示规模或结构的因果效应。 **即使在进行质量评判之前，发现是第一个结构性瓶颈。**仅看原始的、未折叠的计数，平均顶层发现完成率在0.611到0.951之间。条件性的数据丰富更强，在0.767到0.967之间，而终端证据槽位的完成率在0.979到0.994之间（一旦成员及其丰富路径存在）。Perplexity在发现（0.951）和数据丰富（0.967）方面领先，但OpenAI在终端证据槽位上略高（0.994 vs 0.991）。在全部六次完整运行中，重复折叠仅占计数损失的0.017到0.205个百分点，因此交付不足（而非身份合并）是主要的聚合原因。最大的原始结构损失发生在最终URL被附加之前。 层次覆盖图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 来自验证器树的平均任务级原始结构完成率。发现是顶层键，数据丰富覆盖中间键，证据是终端键。数值使用折叠前的提供计数，因此该图隔离了在评判记录质量之前，提交数量缺失的位置。 **找到一个可用页面通常很容易；找到完整证据则很难。**对于五个系统，仅有3.2%–8.9%的提交页面不可用；OpenAI是23.1%的异常值。无效或错误类型的记录也相对少见，比例为4.2%–17.4%。主要的损失发生在下一步：33.6%–68.3%的提交页面未能通过至少一个实质性任务要求，而57.5%–86.6%的提交摘录未能支持记录声称的全部内容。Perplexity的比率分别为41.4%和57.5%。在仅检索的检查下，其软F1为0.531（该检查仅询问页面是否满足所有实质性要求），但在完整判定下，软F1降至0.363（完整判定还要求通用检查、任务特定有效性和完整的摘录支持）。硬F1也从0.245降至0.133。难点不在于找到一个看似合理的页面，而在于将该页面转化为足以支撑整个声明的充分证据。 失败字段图预览 (https://github.com/perplexityai/wandr/blob/main/reference/wandr_paper.pdf) ###### 从可用的验证器详细信息中测量的记录级失败探针，百分比越低越好。页面和摘录要求上的失败比不可用页面或无效记录的失败要普遍得多。Parallel有350个任务的诊断细节，而其他行覆盖490-500个任务。 Search as Code与这种任务形态非常匹配。模型可以将检索、过滤、扇出、渲染、连接、去重和停止逻辑表达为一个程序，而确定性计算则在模型上下文之外处理重复操作。这种特性与Perplexity更强的广度保持能力和摘录构建能力是一致的，尽管它并非在每个层面都领先：Anthropic的页面要求失败率最低。 ## 未来展望 WANDR提供的不仅仅是一个单一的排行榜分数。其通用的