ATLAS：在搜索密集型任务上评估智能体（13分钟阅读）

# ATLAS：评估智能体在搜索密集型任务中的表现 来源：https://exa.ai/blog/atlas-benchmark 今天，我们预览**ATLAS**——一个全新的基准测试，旨在评估智能体在高度依赖网络搜索的复杂现实工作流中回答的准确性和完整性。ATLAS 将基于真实搜索需求的查询与经验证的标准答案配对，并使用自动化流程，让我们能够随着网络和模型的演进不断更新两者。 以下是我们截至目前在 ATLAS 运行中得出的一些结论： - 以合理的成本实现全面搜索远未解决。全力运行的搜索智能体始终优于低计算量版本，但没有任何每个任务成本低于 1 美元的智能体运行能够达到超过 0.5 的行级 F1 分数。 - 即使是最昂贵的搜索智能体也会遗漏约 1/3 的标准结果，这表明在网络搜索方面仍有巨大改进空间，尤其是在完整性至关重要的用例中。 - 在固定模型框架的条件下，Exa 定义了成本-性能帕累托前沿，不同搜索后端的得分差异高达 16%。 **图1：**智能体搜索器的质量与成本对比。没有任何成本高效的搜索器能够接近解决穷尽式搜索任务的能力。 ## [什么是好的基准测试？](https://exa.ai/blog/atlas-benchmark#what-does-a-good-benchmark-look-like) 当语言模型最初开始使用网络搜索时，它们常常在管理长上下文或跨多份文档推理时卡住。甚至搜索结果的顺序也会让它们迷失方向。简而言之，智能体搜索的瓶颈在于智力。如今，前沿模型能够以极低的成本更加可靠地处理这些任务，因此完成深入且广泛研究任务的瓶颈在于你的搜索后端能否真正在网络世界中找到相关信息。 近期关于智能体搜索配置的对比测试[^1][^2][^3][^4]反映了越来越迫切的需求——严格评估网络搜索的有效性。这些评估旨在阐明哪些框架、模型和搜索提供方的组合在具有挑战性且具有经济价值的研究任务中表现最佳。 为了支持严格比较，我们认为一个智能体搜索基准测试应当： 1. **必须依赖搜索。**答案必须依赖于从模型记忆之外的信息源中检索信息。 2. **奖励搜索质量和搜索量。**高质量的搜索结果和更多的搜索量应能显著提升得分。 3. **代表真实的搜索任务。**任务必须反映人类和智能体实际搜索的内容。 | 基准测试 | 发布时间 | 任务数 | 记忆率 | 饱和 | 评分成本 | |---|---|---|---|---|---| | BrowseComp[^5] | 2025年4月 | 1,266 | 48% | ✓ | $26 | | WideSearch[^6] | 2025年8月 | 200 | 59% | ✓ | $80 | | DeepSearchQA[^7] | 2026年1月 | 900 | 61% | ✓ | $16 | | WANDR[^4] | 2026年7月 | 500 | 无法测量 | ✗ | $18k–50k | | **ATLAS（本文）** | **2026年10月** | **547** | **9%** | **✗** | **$2** | **表1：**记忆率计算方式为至少被 GPT-6 Astra、GPT-5.6 Sol 或 Claude Opus 5 中的一个模型正确回忆的任务百分比。WANDR 无法直接测量记忆率，因为没有固定的答案键来在不搜索的情况下对模型的回答进行评分。评分成本指使用官方评分器对 10 次完整运行进行评分的成本。 这些要求听起来可能是理所当然的，但当今流行的智能体搜索基准测试各自都未能满足其中一项或多项要求。BrowseComp[^5]、WideSearch[^6]和 DeepSearchQA[^7]在很大程度上已被记忆并且接近饱和。其中许多问题是为了难找而人为编写的，而非反映人们实际搜索的内容。较新的基准测试如 Perplexity 的 WANDR[^4][^12]通过使用 LLM 评分器来保持新鲜度，这使得评分运行成本高昂，且对评分器设计极为敏感（例如，评分器的网页抓取工具使用哪个提供方）。 这些基准测试往往会随着时间推移而失去价值，因为搜索提供方会针对它们进行优化，且所需知识会被加入最新前沿模型中。所有这些问题的根本原因在于：构建新的高质量搜索评测既慢又贵。因此，智能体搜索基准测试往往比被全新的、及时更新的版本替代的速度更快地变得过时。 ## [设计 ATLAS](https://exa.ai/blog/atlas-benchmark#designing-atlas) 我们通过一个新的基准测试来解决这些不足，即**ATLAS**（**A**gentic **T**asks for **L**arge **A**ggregation + **S**earch，面向大规模聚合与搜索的智能体任务），包含 547 个深入且广泛的研究任务。任务从对匿名化搜索需求进行聚类后获得的种子主题中生成。每个任务要求系统发现所有满足精确条件的实体（例如人物、地点或公司），然后为每个实体补充 2-10 个多跳属性。 **图2：**一个 ATLAS 任务如何从种子主题成长为标准答案表格。 沿着合成生成基准数据日益增长的趋势[^8][^9][^10]，我们在结构化流程中投入大量推理时计算资源来生成任务和标准答案。我们的流程包括由前沿模型和搜索提供方组成的委员会，每个任务平均花费 8 个智能体小时和 1,200 次搜索来寻找答案、独立地对来源进行验证，并解决分歧或歧义，直到确信其正确性。由于流程是自动化的，我们可以使用基于近期搜索趋势的主题重新生成 ATLAS 数据集，随着网络更新保持基准测试与智能体实际搜索内容的一致性。 鉴于评测生成时部署了大量推理时计算资源，我们为此基准测试提出的挑战是*高效搜索*：在不到一分钟和不到 1 美元的预算内解决每个任务——在这个预算下，目前没有任何系统能达到 0.5 的行级 F1 分数。 ## [结果](https://exa.ai/blog/atlas-benchmark#the-results) 基于一系列消融实验和研究，我们相信 ATLAS 修正了当前流行智能体搜索评测中的诸多缺陷，提供了一个真正衡量搜索能力、并能根据搜索质量和搜索量区分不同系统的基准测试。 ATLAS 强有力地区分了搜索提供方： > † 每个指标都是 F1 值：即*精确率*（返回结果中正确的比例）和*召回率*（返回的标准实体中被检索到的比例）的调和平均数。它们的区别仅在于计算的单位不同： > **发现 F1：**实体。**行级 F1**（主要指标）：整行，只有每个单元格都正确才算正确。**单元格 F1：**单个单元格，涵盖发现和补充。 行级 F1 对每任务中位成本（智能体 + 搜索，对数刻度），使用固定的 GPT-6 Luna 框架，搭配 Exa auto 和 fast、Perplexity、OpenAI、Brave 以及 Parallel advanced 和 fast 搜索 **图3：**在框架固定的条件下，仅搜索 API 就对性能产生强烈影响。每个搜索 API 都在相同的中立 Scout 框架中运行，模型为 GPT-6 Luna 或 Claude Haiku 5.5。 ### [ATLAS 奖励搜索质量](https://exa.ai/blog/atlas-benchmark#atlas-rewards-search-quality) ATLAS 对搜索质量的依赖程度远超现有基准测试：当我们将搜索质量严重降低——隐藏每 10 个搜索结果中的前 7 个——同一个搜索器的 ATLAS 得分会下降约一半。相比之下，在 BrowseComp、WideSearch 和 DeepSearchQA 上，搜索器保留了 81-89% 的原始得分，表明这些基准测试实际上并未衡量搜索质量。 **图4：**降级搜索对 ATLAS 的伤害远大于其他基准测试。我们通过合成方式降级搜索质量：在每次 Exa 搜索中，屏蔽 10 个结果中的前 k 个，返回第 k+1 到第 10 个结果。结果基于在中立 Scout 框架中使用 Exa 搜索的 GPT-5.6 Luna 得出。 ### [ATLAS 未被记忆](https://exa.ai/blog/atlas-benchmark#atlas-is-unmemorized) 我们通过检查至少被 GPT-6 Astra、GPT-5.6 Sol 或 Claude Opus 5 中的一个模型正确回忆全部答案的任务百分比来衡量评测的记忆率。BrowseComp、WideSearch 和 DeepSearchQA 中有接近 50% 或更多的任务已被记忆（表 1）。 相比之下，ATLAS 中较早的数据行比 WideSearch 的记忆率更低，且包含了超出当前前沿模型知识截止日期的最新信息——在没有搜索的情况下，前沿模型几乎从不回答正确。因此，为前沿模型添加搜索相比无搜索基线带来的性能提升远大于当前流行评测（图 5）。 **图5：**ATLAS 基本上未被记忆。(a) WideSearch 的记忆率远高于 ATLAS，以至于搜索几乎不带来任何提升。(b) 三个闭卷模型（Claude Opus 5、GPT-5.6 Sol、GPT-6 Astra）中至少一个找到的标准行比例，按该行变为公开可知的时间划分。较早的 ATLAS 数据行通常较为小众，因此记忆率较低，而近期的数据行几乎从不被回忆。与表 1 计算整个任务不同，(b) 按单个数据行计算。 ### [ATLAS 需要广泛的深入搜索](https://exa.ai/blog/atlas-benchmark#atlas-requires-wide-and-deep-search) ATLAS 中 74% 的任务要求发现 10 个或更多实体，且每个实体需要 2-10 个属性。此外，这些宽且深的表格确实需要多跳搜索，而非从单一 URL 或域名检索。根据我们的数据集构建日志估计，发现实体平均需要每个任务涉及 4 个不同域名，完整的发现 + 补充平均需要每个任务涉及 18 个不同域名。相比之下，许多流行的现有评测名义上需要广度或深度，但由于记忆、污染或基准设计缺陷，实际上可以用极少的检索步骤解决。例如，在我们的实验中发现，在 WideSearch 上，一个强大的智能体在 48% 的任务中仅引用一个网站，而在 ATLAS 上仅为 0.2%。 ATLAS 的广度和深度都使其具有挑战性。我们发现，同时增加两者会使所有受测搜索器的任务难度上升。 **图6：**更宽更深的任务更难。(a) 行级 F1 按任务中需要发现的标准行数量划分。(b) 已发现行的完全正确比例，按需要补充的列数划分。 ## [构建与验证](https://exa.ai/blog/atlas-benchmark#construction-and-validation) **图7：**前沿智能体在自定义框架中分五个阶段构建每个任务，平均花费 8 个智能体小时和约 1,200 次搜索。每个阶段逐项检查输出并进行自适应修复，通过额外研究或完善任务规范来完成。 两个来自不同模型家族的智能体负责构建工作：使用 GPT-6 Astra 的 Codex 和使用 Opus 5.5 的 Claude Code。单智能体步骤（筛选、验证和修复）使用 GPT-6 Astra。为了确保标准答案不偏向任何单一搜索索引，每个智能体都通过我们构建的提供方中立工具进行搜索。该工具对每次查询调用 Exa、Brave 和 Perplexity 的搜索 API，返回一个隐藏提供方名称的交错结果列表。我们发现，标准表格构建智能体引用来自不同提供方的页面比例几乎相等。 ### [1. 主题种子](https://exa.ai/blog/atlas-benchmark#1-topic-seeding) 每个任务始于 Exa 聚合匿名化搜索需求中的一个主题。从真实需求中播种使 ATLAS 覆盖超过 300 个主题，并增加了所提任务未被记忆的可能性。一个智能体通过少量搜索从该主题中提出一个任务。在构建开始之前，一个低成本的筛选智能体会探测该任务，并拒绝那些显然无法在线获取信息或已被记忆的任务。 ### [2. 实体发现](https://exa.ai/blog/atlas-benchmark#2-entity-discovery) 找到一个既可穷尽列举又未被记忆的集合被证明具有挑战性，因此我们首先在独立的生成阶段构建这个集合。两个构建智能体独立进行多轮搜索来构建标准实体列表。然后，一个验证智能体逐行检查每一行及其引用的页面，并在独立索引（OpenAI 的索引）上进行额外搜索。任何未解决的行将进入针对性修复，由修复智能体进行额外搜索或澄清任务以消除歧义。 ### [3. 行补充](https://exa.ai/blog/atlas-benchmark#3-row-enrichment) 在发现实体列表确定后，一个智能体提出补充列。两个构建智能体独立填写每个单元格，保存每个值及其页面引用和逐字引用。随后由验证、修复和最终检查器（GPT-5.6 Sol）解决所有分歧。无法解决的单元格在最终评测中不计入评分，占所有表格中单元格的 7.1%。此外，有 3.8% 的单元格是*空白值*，我们的智能体可以证明所问的数据不存在——例如所问的事件没有发生或确凿地没有公开记录。这些空白值计入评分，测试搜索智能体推断特定信息不存在或不适用于给定实体的能力。 ### [4. 压力测试](https://exa.ai/blog/atlas-benchmark#4-stress-test) 十二个系统尝试每个任务：Exa Agent[^11]以四个投入水平运行；Claude Opus 5.5 和 GPT-6 Astra 各以两个投入水平运行，使用各自提供方的原生搜索；以及 GPT-5.6 Luna 搭配 Exa、Perplexity、Brave 和 Parallel 搜索。 ### [5. 审核](https://exa.ai/blog/atlas-benchmark#5-audit) 盲评审核员对每个与答案键的分歧进行深入研究。基于使用实时浏览器进行的抽样审核，我们估计不到 1% 的标准值是错误的（0.9%，95% 置信区间 0.6-1.4%）。审核评委为 Codex（Astra）和 Claude Code（Opus 5.5），分歧时由 Gemini 3.1 Pro 裁决，均使用各自的原生搜索。如果经过此步骤仍有分歧，Exa 工程师将手动裁定差异。 ### [6. 答案键](https://exa.ai/blog/atlas-benchmark#6-answer-key) 通过审核的数据行将成为标准答案键的一部分。不计入评分和空白值的单元格是被允许存在的。 **图8：**多样的任务主题。每个任务源自上述 23 个类别之一中的精确子类别，数据来源为搜索趋势。 ## [评分](https://exa.ai/blog/atlas-benchmark#grading) 我们使用三个 F1 指标对返回的表格与标准答案进行评分，按任务计算并在任务间取平均值。每个 F1 都是精确率和召回率的调和平均数，但三个指标计算的单位不同，类似于 WideSearch[^6]中使用的指标： - **发现 F1** 仅计算行发现：*精确率* = 返回行中标明标准实体的百分比，*召回率* = 被返回的所有标准实体的百分比。 - **单元格 F1** 计算单元格，涵盖发现和补充：*精确率* = 返回单元格中正确的百分比，*召回率* = 正确返回的所有标准单元格的百分比。 - **行级 F1** 计算行，只有当该行中每个单元格都正确时才算正确：*精确率* = 返回行中完全正确的百分比，*召回率* = 完全正确返回的标准行百分比。这是我们的主要指标。 评分器通过实体名称和一组别名将返回的行与答案键对齐，在无法匹配时回退到 LLM