WANDR：广度与深度研究基准

# WANDR：广泛与深度研究基准  
来源：https://arxiv.org/html/2608.14747  
###### 摘要  
WANDR（广域与深度研究）是一个包含500项真实且具有挑战性的智能体数据收集任务的基准，面向知识工作领域。每个任务要求系统发现大量满足特定条件的成员（**广度**轴），并通过协调网络搜索确立每个成员的具体事实（**深度**轴）。我们用资格键层级结构表示任务，例如 `公司 (n) → 员工 (m) → 网址 (k)`，意为“查找 n 个合格公司，每个公司 m 名合格员工，每位员工 k 个合格来源页面”。该层级定义了 `n×m×k` 条记录的目标。我们不将提交结果与静态标准答案集对比，而是通过任务专用裁判重新获取引用页面，并根据引用证据验证每条记录的主张，从而使基准能够覆盖当前和变化的事实。记录级判定汇总为任务级的软性与硬性精确率、召回率及 F1 分数。所需记录数量从数十条到数千条不等，将核心挑战从寻找单一正确答案或撰写完整报告，转向在不牺牲单条记录事实正确性的前提下进行大规模开放式发现。任务来源于去标识化的产品使用日志，并通过半自动化流程生成。通过自动化检查与实证审计筛选，必要时辅以人工审核；最终集合经过精心设计，以压力测试前沿智能体搜索系统的常见故障模式。基准远未饱和：在高投入设置下，最强系统仅取得 0.363 的软性 F1 和 0.133 的硬性 F1。任务集与评估框架可在 https://github.com/perplexityai/wandr 获取。  
## 1 引言  
研究智能体越来越被要求不仅提供单一答案或自由格式报告，还需产出结构化的事实集合，每个事实都需要深入搜索来确认。这种任务形态在我们生产数据中观察到的专业知识工作中反复出现，包括竞争格局分析、交易尽职调查、文献综述、市场与产品对比以及人才搜寻。它具有两个正交维度：广度和深度。在广度轴上，智能体通常必须发现大量预先未提供的实体；某些任务则指定封闭名单并要求完全覆盖。在深度轴上，智能体必须通过多次协调的网络搜索丰富每个实体。一个典型请求是要求智能体查找至少 70 项美国公司的 CEO 或 CFO 任命（均在 2026 年 3-4 月首次宣布），并为每对公司-被任命人提供权威的任命来源。广度-深度研究系统会返回此类结构化集合，其中每条主张对应一条可独立验证的记录。WANDR 任务需要数十至数千条此类记录。核心挑战在于通过广泛搜索实现所需规模，同时确保每条记录事实正确。  
为捕捉这些用例的多样性并保持每项主张可独立验证，我们将每个 WANDR 任务表示为灵活的**资格键层级结构**：一个由标识键和过滤标准组成的树。以 `ceo_cfo_appointments` 为例，其主层级为 `公司 (70) → 公司_被任命人 (1) → 网址 (1)`。更一般地，每一级可要求多个子项——`n` 家公司、每家公司 `m` 名被任命人、每位被任命人 `k` 个来源——因此该层级定义了 `n×m×k` 条记录的目标。每条记录作为评估的原子单元，引用一个在线页面并包含逐字摘录，使其可独立核查。  
在此规模下，当前智能体搜索系统常以可预测方式失败。我们在生产智能体运行中观察到几种常见故障模式，其中部分已在先前文献中记录：**规模坍塌**（查询分解不完整且大规模检索不足，有时伴随虚构值）（9 (https://arxiv.org/html/2608.14747#bib.bib13);16 (https://arxiv.org/html/2608.14747#bib.bib23)）；**片段依赖**（使用搜索结果片段而未验证其来源是否支持提交的主张）（16 (https://arxiv.org/html/2608.14747#bib.bib23)）；**非系统性约束应用**（仅对前几个实体应用过滤条件，随后静默丢弃）；**交叉引用跳过**（断言主张但未通过必要来源交叉验证）；**过早停止**（初次搜索信息不足后即放弃）（16 (https://arxiv.org/html/2608.14747#bib.bib23)）；**丰富遗漏**（找到实体但从未收集其必要事实）；以及**上下文溢出**（长搜索轨迹耗尽可用上下文）（9 (https://arxiv.org/html/2608.14747#bib.bib13)）。  
WANDR 最初是作为内部基准设计，旨在通过区分系统规避这些故障模式的能力。特别是，它对比了**搜索即代码**（SaC）系统（智能体组合可编程检索原语（13 (https://arxiv.org/html/2608.14747#bib.bib21)））与将固定端点搜索-阅读循环分布到并行子智能体的传统系统。作为评估中最强的系统，SaC 仅取得 0.363 的软性 F1 和 0.133 的硬性 F1，使得该基准即使对前沿研究智能体也极具挑战。  
发布的任务集将生产数据中的常见模式实例化为自包含基准任务。每个入选任务必须满足三项顶层标准：**实质性规模**（通常数百条记录，有时数千条）；**可行性**（请求的规模可实现）；**难度与区分度**（简单内部基准得分低，而更强系统得分显著更高）。这些选择共同产生了五项定义性特征，其组合使 WANDR 与众不同：  
- • **基于生产用途的任务形态与主题**：发布的任务源于真实研究产品中观察到的去标识化请求，保留了专业工作的领域、约束及“先广后深”结构（第4节 (https://arxiv.org/html/2608.14747#S4)）。  
- • **灵活编码任务形态并支持局部化失败的组合树结构**：扁平列表和固定模式表格均为资格键层级的特例。失败可定位到树的不同环节：系统可能未能发现核心任务实体或成员、丰富中间实体或键、识别相关页面、从这些页面提取足够证据，或在键冲突时消歧身份（第3节 (https://arxiv.org/html/2608.14747#S3)）。  
- • **半自动化任务构建流程**：自动化编写检查、实证可行性审计和裁判审计确立了功能性任务所需条件。可选的人工审核可提升任务质量，但非任务包运行和评分所必需。无需标注标准答案集，人力投入用于质量审查而非穷尽式答案构建（第4节 (https://arxiv.org/html/2608.14747#S4)）。  
- • **无参考、证据验证的评分**：每条记录均为带引用的主张（URL加逐字摘录）。任务专用裁判重新获取引用页面。完整判定评估页面和提交的摘录，而仅检索判定仅询问页面是否满足所有实质性任务要求。这些判定随后汇总为精确率（提交成员中的准确度）、召回率（相对于所需成员数量的质量调整完成度）和F1分数，每项均包含软性（部分得分）和硬性（二元通过/失败）形式（第5节 (https://arxiv.org/html/2608.14747#S5)、附录E (https://arxiv.org/html/2608.14747#Ax1.SS5)）。  
- • **可扩展的强化学习（RL）基础**：任务流程可生成多样化训练包；每条记录判定和层级指标提供密集的部分进度奖励；各级所需数量为课程学习提供明确难度梯度；流式、缓存感知的评分器可跨训练批次摊销重叠工作（附录N (https://arxiv.org/html/2608.14747#Ax1.SS14)）。  
本文其余部分结构如下：第2节 (https://arxiv.org/html/2608.14747#S2) 定位WANDR在单答案、集合型和领域专用基准家族中的位置，并比较其建立基准事实的方式。第3节 (https://arxiv.org/html/2608.14747#S3) 定义任务结构及其变体；第4节 (https://arxiv.org/html/2608.14747#S4) 描述任务构建流程并报告发布集的统计摘要；第5节 (https://arxiv.org/html/2608.14747#S5) 详述提交结果的评分方式；第6节 (https://arxiv.org/html/2608.14747#S6) 评估六个生产系统；第7节 (https://arxiv.org/html/2608.14747#S7) 总结发现并讨论其意义、局限与未来方向。  
## 2 相关工作  
我们主要按输出形态（紧凑答案或项目集合）以及其评分方式组织先前关于智能体信息检索基准的研究。领域专业性是一个贯穿性区分：紧凑答案和集合型基准均可能将任务限制在特定专家领域。  
##### 封闭式浏览与问答  
第一类要求智能体解决有界浏览或问答问题并返回紧凑响应。BrowseComp 提出故意晦涩的单答案问题（15 (https://arxiv.org/html/2608.14747#bib.bib5)）；Humanity’s Last Exam 针对专家级封闭式学术问题（14 (https://arxiv.org/html/2608.14747#bib.bib2)）；FRAMES和GAIA结合检索与多跳推理（7 (https://arxiv.org/html/2608.14747#bib.bib3);12 (https://arxiv.org/html/2608.14747#bib.bib1)）；AssistantBench 包含真实的网络研究请求但最多允许五个答案（18 (https://arxiv.org/html/2608.14747#bib.bib4)）；VeriWeb 将长期网络任务分解为一系列可独立验证的子任务（11 (https://arxiv.org/html/2608.14747#bib.bib17)）。这些基准强调深度或端到端任务完成度，但其紧凑、基于标准答案的输出并未测试在大量已发现实体上重复深度操作的能力。相反，WANDR 将这种广度-深度结合作为评分对象：每个成员都必须被发现、丰富并独立举证。  
##### 广泛与宽泛信息检索  
与 WANDR 最接近的是那些交付物为单个评分项集合的基准。WideSearch（16 (https://arxiv.org/html/2608.14747#bib.bib23)）也源自真实用户查询，并逐单元格评分填充的表格，但主要测试宽泛收集能力，而每项字段相对较浅。DeepSearchQA（5 (https://arxiv.org/html/2608.14747#bib.bib12)）包含单值和集合值答案，根据标准答案集评分。WideSeekBench（6 (https://arxiv.org/html/2608.14747#bib.bib15)）使用多阶段生成与质量控制流程生成具有不同目标规模和逻辑约束的表格补全任务。GISA（22 (https://arxiv.org/html/2608.14747#bib.bib16)）涵盖项目、集合、列表和表格值答案，并通过定期更新答案维护实时子集。这些基准扩展了广度轴，但通常不要求对每个发现的成员重复相同的多阶段丰富与交叉验证过程。  
与 WANDR 最相似的是 DeepWideSearch（9 (https://arxiv.org/html/2608.14747#bib.bib13)），它明确结合深度与广度，从现有深度和广度搜索数据集中转换 220 个任务，并根据人工验证的基准真值表进行评分。WANDR 在任务形态和评分上有所不同：其请求要求在一个层级内重复进行“先广后深”搜索，而非组合分别来源的深度和广度任务模式；其评分根据提交的来源验证主张，而非依赖标准解决方案。相关的“表即搜索”框架（8 (https://arxiv.org/html/2608.14747#bib.bib18)）将广度-深度搜索构建为表格补全，尽管作为求解方法而非基准。  
##### 领域专用信息检索  
与输出格式正交，另一条研究路线将搜索和研究基准限制在单一专家领域，测试领域知识及检索能力：医学（3 (https://arxiv.org/html/2608.14747#bib.bib7)）、金融（21 (https://arxiv.org/html/2608.14747#bib.bib8);2 (https://arxiv.org/html/2608.14747#bib.bib11)）、法律（10 (https://arxiv.org/html/2608.14747#bib.bib9)）和学术文献（20 (https://arxiv.org/html/2608.14747#bib.bib10)）。AutoResearchBench 也专注于文献：其**深度研究**轨道定位目标论文，而其**广度研究**轨道收集所有满足给定条件的论文（17 (https://arxiv.org/html/2608.14747#bib.bib14)）。这些基准提高了专业门槛，并通常限制使用某一领域内的来源或工具。相反，WANDR 是领域通用的：它将通用的层级表示和评分框架应用于人才、金融、健康、法律与监管工作及其他专业领域的多样化任务结构。  
##### 评分范式  
大多数先前基准通过三种方式之一建立基准事实：为单答案问答匹配标准标签；使用大语言模型（LLM）裁判应用任务特定评分标准评分长篇报告（如我们的深度研究基准 DRACO（19 (https://arxiv.org/html/2608.14747#bib.bib22)））；或在广度搜索基准中匹配标准集合。WANDR 是 DRACO 面向广度的对应物。其他工作使评估器本身具有智能体特性：Agent-as-a-Judge（23 (https://arxiv.org/html/2608.14747#bib.bib19)）根据层级要求评估代码智能体的输出和轨迹，而 Mind2Web 2（4 (https://arxiv.org/html/2608.14747#bib.bib6)）评估引用支持型响应的答案正确性和来源归属。WANDR 将来源验证扩展到集合规模：每条记录必须携带自己的引用（URL加逐字摘录），且任务专用裁判重新获取引用页面并根据其验证主张。由于评分器检查提交的主张而非枚举所有合格答案，这种方法避免了穷尽式标准答案标注。任务构建期间验证可行性的所需数量目标，为召回率提供了分母，而无需枚举答案集。这使得涉及当前和变化事实的任务可被纳入，并允许任务生产通过半自动化流程扩展，而非穷尽式专家标注。DeepWideSearch 自身的局限性正呼吁这种“自动化数据生成技术”与“无参考评估指标”的结合（9 (https://arxiv.org/html/2608.14747#bib.bib13)）。  
表1 (https://arxiv.org/html/2608.14747#S2.T1) 总结了 WANDR 的定位。相对于现有集合型基准，WANDR 增加了证据支持的记录、无参考验证和组合任务结构：资格键层级中，发现和每实体丰富形成灵活树结构，而非单一扁平表。其任务形态源于真实专业用途，且任务仅在高规模、可行且对内部基准具有区分度时才被收录。由此产生的挑战是在维持每条记录事实正确性的同时，支持大规模搜索。