奇妙智能体竞赛：强大的工具使用者，薄弱的导航者

# 惊人的智能体竞速：强大的工具使用者，弱小的导航者
源：https://arxiv.org/html/2604.10261
Zae Myung Kim1, Dongseok Lee2, Jaehyung Kim2, Vipul Raheja3, Dongyeop Kang1 明尼苏达大学双城分校1, 延世大学2, Grammarly3 \{kim01756,dongyeop\}@umn\.edu

###### 摘要

现有的LLM智能体工具使用基准基本上都是*线性的*：我们对六个基准的分析显示55到100%的实例都是简单的2到5步链。我们引入了《惊人的智能体竞速》（AAR），一个以*有向无环图*（DAG）谜题（或"赛段"）和分叉-合并工具链为特色的基准。我们发布了1,400个实例，分为两个变体：顺序型（800个赛段）和组合型（600个DAG赛段）。智能体必须浏览维基百科、执行多步工具链，并将结果汇总成一个可验证的答案。赛段从维基百科种子过程生成，跨越四个难度级别，并通过实时API验证。三个互补的指标（终点线准确率、中途站访问率和路障完成率）分别诊断导航、工具使用和算术失败。评估三个智能体框架在1,400个赛段上，最好的达到37.2%的准确率。导航错误占主导地位（27到52%的试验），而工具使用错误保持在17%以下，智能体架构和模型规模一样重要（Claude Code以6倍更少的标记与Codex CLI在37%处匹配）。AAR的组合结构揭示了智能体的失败不在于调用工具，而在于导航到正确的页面，这是线性基准无法看到的盲点。项目页面可在以下地址访问：https://minnesotanlp.github.io/the-amazing-agent-race

## 1 引言

考虑一个看似简单的问题："Apple创始人出生地的海拔差是多少？"以维基百科为信息源，一个智能体可能会：(1)导航到Apple的页面，(2)提取创始人的名字，(3)关注他们的传记页面链接，(4)识别他们的出生地（旧金山和绿湾），(5)对每个城市进行地理编码，(6)查询海拔API，(7)计算差值：

```
coords_1 = geocode("San Francisco") → (37.77, -122.42)
coords_2 = geocode("Green Bay")     → (44.51, -88.01)
elev_1   = elevation(coords_1)      → 16 m
elev_2   = elevation(coords_2)      → 177 m
answer   = abs(elev_1 - elev_2)     → 161 m
```

访问错误的页面或坐标交换会级联传递到整个链条中并使答案无效。如果问题还要求行驶距离，智能体必须*分叉*坐标为并行API调用，并*合并*结果，这是现有基准未测试的非线性依赖。

现有基准隔离这些能力：工具使用基准（Qi等，2024；Patel等，2025）省略了导航，组合基准（Basu等，2024；Ye等，2025）预先提供所有输入，而网络导航基准（Zhou等，2024；Mialon等，2024）省略了组合工具链。我们对其依赖结构的分析显示55到100%的实例都是严格的线性链，平均仅2到5步，这种*组合性赤字*使得分叉-合并推理未被测试。

本工作。我们引入《惊人的智能体竞速》（AAR），一个围绕一个诊断问题而设计的基准：*当智能体必须通过导航发现信息、将该信息分叉为并行工具分支、并合并结果时，它到底在哪里出现故障？*受电视剧《惊人的竞速》（CBS，2001）启发，AAR将评估框架为跨维基百科的竞速。每个实例是一个*赛段*：智能体导航维基百科页面、执行工具链（如地理编码→海拔、地理编码→天气）、应用分析推理并将结果汇总成单位数答案的一系列步骤。赛段不是线性链，而是有向无环图（DAG）：分叉-合并*菱形*模式从单个提取的实体生成并行工具分支，其输出向下游合并。每个AAR实例都是一个真实的DAG（0%线性），平均有22个中途站和最多5个菱形，相比之下之前的基准有94-100%的线性性和1.7-4.8个步骤。

自动化管道从随机维基百科种子生成赛段，具有预验证的工具链、菱形增强和口头化线索信封，从不直接透露标题或工具名称。AAR跨四个难度级别提供19个工具（8到33个中途站）；实时API确保答案必须*推导*，而不是回忆。

图1：(a)现有基准是55到100%的线性；AAR是0%线性（所有DAG）。括号中的数字显示每个实例的平均步数（缩写为"s"）。(b)最佳智能体准确率为36.6%（在1,400个赛段上聚合）。(c)导航错误占主导（5%到52%），而工具使用错误保持在15%以下。三个指标分别诊断管道各个阶段的失败（图1）：终点线准确率（FA）、中途站访问率（PVR，导航）和路障完成率（RCR，工具使用）。

关键发现。在1,400个赛段上评估三个智能体框架，最好的达到仅37.2%的FA。导航错误占主导（27到52%的试验），而工具使用错误保持在17%以下。从AAR-线性移动到AAR-DAG会将导航分数降低13到18个百分点，而工具使用分数保持稳定，确认组合结构挑战导航而非工具使用。

贡献。

1. 1. 六个基准的*组合性分析*，显示55-100%的线性性。
2. 2. 一个*自动化生成管道*，从随机维基百科种子生成DAG结构的赛段，具有分叉-合并菱形模式、四个结构化控制的难度级别，以及通过实时API和线索释义的污染抵抗。代码和数据可在https://github.com/minnesotanlp/the-amazing-agent-race获得。
3. 3. *三个分解的指标*（FA、PVR、RCR），在导航、工具使用和计算阶段隔离失败。*在1,400个赛段上的评估*，跨越三个智能体框架和两个模型系列，具有详细的失败分类。

## 2 相关工作

| 评估设计 | 组合性 | 基准 | 场地 | 工具 | 导航 | 度量 | 步骤 | 级别 | 实时 | 难度 | 黄金 | 生成 | 步数 | %线性 | %DAG |
|---------|--------|---------|----------|--------|--------|--------|--------|--------|---------|---------|--------|---------|---------|---------|----------|
| 工具使用与组合 | ToolBench | ICLR'24 | 16k+ | ✗ | 2 | ✗ | ✓† | 3级 | ✓ | 自动 | 1.9 | 100 | - |
| TaskBench | NeurIPS'24 | 图 | ✗ | 3 | ✓ | ✗ | 规模 | ✓ | 自动 | 1.7 | 94 | 2.5 |
| NESTFUL | arXiv'24 | 嵌套 | ✗ | 2 | ✓ | ✗ | 深度 | ✓ | Scr | 3.4 | 55 | - |
| 网络导航与智能体 | GAIA | ICLR'24 | 变化 | ✓ | 1 | ✗ | ✗ | 3级 | ✗ | 手动 | ~5‡ | 100 | - |
| WebArena | ICLR'24 | 浏览器 | ✓ | 1 | ✗ | ✓ | 实现 | ✗ | Scr | – | – | – |
| AgentBench | ICLR'24 | 8环境 | 部分 | 1 | ✓ | 混合 | 环境 | ✗ | 手动 | – | – | – |
| AAR | – | 19 | ✓ | 3 | ✓ | ✓ | 4级 | ✓ | 自动 | 22.1 | 0 | 100 |

表1：与代表性基准的比较（每个类别3个；附录L中有12个基准的完整表）。†ToolBench存在API不稳定性。‡GAIA步数仅来自注释者元数据。

在野外部署LLM智能体需要解释指令、导航信息源、调用API并链接结果，所有这些都在单个情节中进行。现有基准隔离一个或两个这些能力；AAR将开放网络导航与多步工具组合相结合，在结构化控制的自动生成基准中（表1）。

工具使用基准。ToolBench（Qi等，2024）为多步规划策划16,464个REST API；真实API的不稳定性促使StableToolBench（Guo等，2024）用虚拟服务器替换实时端点。BFCL（Patel等，2025）使用基于AST的评分和多轮有状态工作流来标准化函数调用评估。API-Bank（Li等，2023）在73个API上引入三级框架。这三个都按可用工具的*数量*进行缩放，但在隔离中呈现它们：智能体接收查询并调用API，而无需先*查找*输入。

多步工具组合。TaskBench（Shen等，2024）将工具间依赖建模为工具图。NESTFUL（Basu等，2024）测试嵌套API序列（GPT-4o：28%全序列准确率）。ToolHop（Ye等，2025）构造需要3+个链式调用的多跳查询（最佳模型：49%）。T-Eval（Chen等，2024）将工具使用分解为六个子能力。ToolSandbox（Lu等，2025）增加了有状态性和隐式依赖。这些基准显示组合工具使用很困难，即使所有输入都预先给定。AAR增加了进一步的挑战：智能体必须首先通过导航*发现*输入，将导航错误与下游工具故障耦合。

组合性差距。我们从六个基准的黄金执行跟踪中提取依赖图（表1）。ToolBench、ToolHop和GAIA完全是线性的（100%）。TaskBench是唯一带有显式DAG注释的基准，94%是线性的，平均仅1.7个步骤。NESTFUL和T-Eval显示中等非线性（45%和38%），但仍然很浅（3.4和4.8个步骤）。每个AAR实例都是一个DAG，平均22个中途站，具有通过菱形模式的扇出和扇入，这个结构化差距推动了我们的基准。111GAIA缺乏结构化的黄金链；我们使用注释者报告的步数作为线性链代理（仅165个验证样本）。

网络导航基准。WebArena（Zhou等，2024）跨自托管网络应用评估长视野任务。Mind2Web（Deng等，2024）测试跨137个真实网站的泛化。OSWorld（Xie等，2024）将评估扩展到桌面GUI环境。GAIA（Mialon等，2024）最接近AAR的范围（一些问题需要网络查询和工具使用），但其466个手动策划的静态实例存在污染风险，难度是人工注释而非结构化控制，评估仅限于最终答案精确匹配。AAR解决了所有三个限制。

更广泛的背景。全面的多环境基准（Liu等，2024；Ma等，2024；Trivedi等，2024；Yao等，2024；Xu等，2024）以广度换取深度；AAR进行了互补的权衡。通过实时API和过程生成的污染抵抗与相关的固定基准限制在附录A中讨论。

## 3 基准设计原则

虽然我们的框架与来源无关，但我们使用维基百科，因为它提供密集的超链接图（~40个出站链接每页）、用于确定性事实提取的半结构化信息框、广泛的主题多样性、自由许可证（CC BY-SA）以及一个污染测试床：由于LLM在维基百科上进行了大量训练，我们的基准特别测试智能体是否可以通过释义线索和实时API调用来*超越*记忆化事实。

图2：作为呈现给智能体的示例线索信封（或"赛段"）。

### 3.1 任务表述

AAR实例（一个*赛段*）由四个输入组成并产生一个输出：

- • 一个*种子URL* u₀指向维基百科文章（起点线）。
- • 一个*线索信封* C：一个自然语言谜题，其K条线索描述一系列步骤，不命名维基百科标题或工具名称。
- • 一个19个工具的*工具集* T，带有模式描述。
- • 一个*步骤预算* B=max(10,⌊1.5K⌋)。

智能体必须生成单位数*终点线代码* ŷ∈{0,...,9}。地面真值代码y*由黄金执行器从验证的执行跟踪计算。

### 3.2 赛段结构

赛段是中途站s₁,...,sₖ的有向无环图（DAG），每个都产生一个类型化值vᵢ，并可选地通过显式的depends_on边依赖于先前的站。借用*惊人的竞速*（CBS，2001）的术语，我们定义四种中途站类型：

1. 1. 路线信息（route_info）：导航到维基百科页面并提取事实（例如，数值信息框字段、来自文章的日期）。
2. 2. 路障（roadblock）：执行多步工具链，例如地理编码一个位置然后查询海拔API。
3. 3. 绕行（detour）：对先前值应用分析转换，例如next_prime(vᵢ)、digit_sum(vᵢ)。
4. 4. 终点线（finish_line）：通过算术从早期站聚合值以产生y*∈{0,...,9}。

转换是类型化的（link_follow、search_query、tool_call、compute），值是类型化的（number、text、coords、date），支持站之间的类型感知参数传递。

### 3.3 菱形模式

图3：菱形模式结构。AAR引入*菱形模式*（图3）来创建非线性DAG结构。菱形有一个*源站*（提取可地理编码的实体）、两个*分支站*（同一实体上的独立工具链，例如海拔和POI计数）和一个*合并站*（合并分支输出）。每个分支记录到源的depends_on边；合并取决于两个分支。菱形计数随难度而扩展（简单时1到极难时3-5）跨越四种类型（海拔×POI、海拔×评级、人口×面积、温度×降水），保证每个实例都是一个真实的DAG。

### 3.4 工具集

AAR在八个类别中提供19个工具（附录D），设计用于可组合性（如地理编码→海拔）和时间动态性（股票/加密货币工具返回实时数据）。路障中途站实例化17个模板，组合1-3个工具。每个工具以规范单位返回值（海拔以米为单位、距离以公里为单位、温度以°C为单位）；显式的python_execute_code转换站在需要时处理单位变更。终点线站通过模运算（digital_root、mod10等）将收集的值简化为单位数，吸收小的API扰动。

### 3.5 难度级别

难度通过四个独立变化五个参数的级别来控制：预增强赛段长度（简单时3-6到极难时17-21）、路障计数、绕行计数、提取复杂性（仅限信息框与跨部分）。