GTA: 大规模生成Web智能体的长时域任务

# GTA: 大规模生成面向Web智能体的长程任务  
来源：https://arxiv.org/html/2605.29218  
黄腾浩1,2†,黄孔祥2,Prafulla Kumar Choubey2,周逸伦2,Muhao Chen3,Jonathan May1,吴建盛2  
1南加州大学,2Salesforce人工智能研究,3加州大学戴维斯分校  
†\dagger在Salesforce实习期间完成的工作。[email protected]  

###### 摘要  
Web智能体将语言模型与浏览和工具使用能力相结合，有望成为开放网页上的助手。然而，其进展日益受到缺乏可扩展的、过程级监督的限制。现有基准大多为*人工构建*，仅提供粗略的起始-目标注释，缺乏中间轨迹；而近期自动生成的工作仍然昂贵、有偏且浅显。这些局限阻碍了对必须泛化到现实、多跳、跨页面任务的智能体进行可靠的训练和评估。我们提出一个可扩展框架GTA，它整合了爬取、检索式种子选取、上下文内生成和自动质量控制，以生成配有可执行轨迹的现实任务。该设计将爬取与生成解耦以提高效率，将任务扎根于站点图以强制组合性，并通过确定性重放和系统验证确保密集监督。我们在超过50个涵盖电子商务、政府、论坛和新闻的网站上实例化了该流水线，并覆盖多语言和多跳场景。由此产生的基准揭示了显著的人–智能体性能差距，并实现了详细的诊断。我们的贡献有三方面：(i) 形式化多跳Web智能体任务生成；(ii) 提出一个高效且经过验证的自动数据创建流水线；(iii) 发布一个自我演化的基准生态系统，最终用户可基于实时网页内容生成最新任务¹。  
¹代码见https://github.com/tenghaohuang/GTA。  

## 1引言  
Web智能体——将语言模型与浏览器和工具使用界面相结合的产物——已迅速成为构建通用助手的一个核心方向，这些助手能够在开放网页上搜索、导航和执行操作（Shi等人，2017；Liu等人，2018；Zhou等人，2024；Huang等人，2025a, c）。尽管有令人瞩目的演示，但其进展越来越受到数据的制约。现有基准仅提供人工标注的任务描述以及精心策划的端到端解决方案，对智能体的潜在决策过程不提供任何监督（Deng等人，2023；Wang等人，2023；Zhou等人，2024；Spangher等人，2025；Huang等人，2025b）。这存在问题：先前工作已指出，网页导航本质上是一个隐马尔可夫过程，其关键不确定性在于未观察到的中间状态和动作（Sodhi等人，2024；Huang等人，2025a）。没有可靠的真值轨迹，智能体会过拟合于小型手工编写的数据集，难以泛化到现实的多跳、跨页面用例（Murty等人，2025；Ishmam and Marino，2026）。  
为了解决大规模数据稀缺的问题，近期工作开始自动生成Web任务。例如，AgentTrek（Xu等人，2024）将在线教程文档转化为可执行轨迹并使用视觉-语言智能体验证；而WebWalker（Wu等人，2025）和NNetNav（Murty等人，2025）使用基于LLM的策略模型探索网站，然后给所得轨迹标注意图。尽管有前景，这些方法面临三个关键局限。首先，它们在时间和成本上*过高*：构建单个任务需要反复的智能体-环境交互和多次LLM调用，推高成本并限制吞吐量。其次，它们引入了*强探索偏差*：LLM策略倾向于过拟合“明显”路径（例如，反复选择产品详情页），而忽略较细微或不显眼的站点功能，如奖励计划、促销或新品上市。结果，站点图的很大一部分未被探索和测试。第三，它们*缺乏组合性和实用性*：现有方法生成的大多数任务退化为单跳检索或填表，这些任务可以通过简单搜索查询解决，无法捕捉真实导航的多跳、跨页面依赖。因此，此类任务对用户几乎没有实际效用，因为解决它们不需要更深的推理、持续的交互或解决问题的能力——而这些恰恰能在现实环境中测试或有益于智能Web智能体。我们在表1中提供了详细比较。  
我们提出GTA（大规模生成面向Web智能体的长程任务），一个可扩展的任务生成和基准测试框架，整合了*爬取*、*检索*、*上下文内生成*和*质量控制*，以产生具有可执行真值轨迹的现实、分级难度任务。具体地，我们首先爬取可公开访问的站点以构建内容/链接图；接着，检索候选页面和证据片段作为种子；然后，通过引用站点内事实、UI元素和工作流的上下文提示生成任务；我们使用基于LLM的质量控制协议进行过滤，该协议根据当前爬取内容强制任务的清晰性和可解性；最后，我们记录一条最小化的、可程序化执行的导航路径（点击、滚动、输入），实现确定性重放和步骤级归因。这一设计直接针对前述三个挑战。*效率与成本*：我们将一次性爬取与轻量级、检索驱动的任务生成分离，消除了重复的策略交互，减少了冗余的LLM调用和实际延迟。*探索覆盖率*：通过利用检索式种子选取而非策略驱动探索，我们的方法避免了LLM导航器的强烈偏差，并系统性地采样每个网站图中多样化、语义丰富的区域。*组合性与实用性*：扎根于站点图的生成能够构建需要在互联页面间进行推理的多跳任务，反映了真实用户工作流的依赖性和开放目标。  

表1：基准属性比较。GTA是唯一同时具备*自动任务生成*、*多跳推理*、*可执行真值*、*动态扩展*和*多语言覆盖*的基准。  
要自动生成多样化的多跳Web智能体任务，我们区分两种主要设置：*网站内查询*（推理完全发生在一个域内）和*网站间查询*（需要跨多个域协调）。在网站内任务中，我们的基准涵盖多种语言，包括英语、意大利语、日语、德语和中文，确保覆盖超出以英语为中心的环境。我们在超过50个公开网站上实例化流水线，涵盖电子商务目录、娱乐/政府页面、论坛、金融等。除自动过滤外，我们还收集人工注释以评估答案正确性、复杂性、实用性和真实性，确认任务对人类是合理的，但对当前智能体具有挑战性。  
我们的贡献有三方面：  
- • **问题形式化**。我们引入并正式定义了*多跳Web智能体任务生成*这一新任务，其中任务要求智能体跨多个页面或域进行推理，而非退化为琐碎的信息查找。  
- • **高效自动数据生成**。我们提出一个高效流水线，显著降低了每个任务的时间和成本，同时产生具有挑战性的任务；每个任务包含一条可执行的最小“黄金路径”，用于确定性重放和步骤级诊断，并通过验证器检查和负控制加以保障。  
- • **演化基准**。我们不将GTA视为固定数据集，而是将其构建为一个自我演化的基准生态系统，最终用户可以基于当前网页内容持续生成任务。结合我们的验证流水线，GTA在保持任务质量和可复现性的同时，让智能体接触不断变化、现实的任务分布，从而减少过拟合并支持泛化能力的持续评估。  

## 2 基准设计  
我们基准的目标是创建系统性地捕捉现实在线交互*多跳*性质的Web智能体任务。与之前将每个任务视为线性化轨迹的数据集不同，我们明确将任务生成扎根于底层网页图的结构特性。这一设计选择服务于两个目标：(i) 它反映出解决许多现实查询需要跨多个相互链接的网页进行推理；(ii) 它使得可复现的任务构建与瞬态的智能体交互解耦。下文中，我们将描述完整流水线的四个阶段：通过爬取和构建站点图收集观察、通过检索增强提示生成多跳任务、通过系统验证控制任务质量、以及分析与现有基准相比的覆盖率。  

### 2.1 基准构建  
**定义多跳任务**。我们的目标是构建需要在Web环境中进行*多跳推理*的任务。形式化地，令G=\(V,E\)表示一个有向网页图，其中每个节点v∈V对应一个爬取的网页，每条边(vi,vj)∈E对应从vi到vj的超链接。一个任务表示为T=⟨q,A,P⋆⟩，其中q是自然语言查询，A是答案，P⋆=⟨v1,v2,...,vm⟩是G中通向A的最小可执行路径。如果一个任务需要从至少n个不同网页聚合信息，即|{v∈P⋆:evidence(v)≠∅}|≥n, n>1，则我们将其定义为*n阶多跳*。其中，evidence(v)表示节点v中推导正确答案所必需的页面内容子集。相反，单跳任务允许n=1，仅需从一个节点进行局部推理即可解决。  

**收集观察**。为了实例化G，我们在可公开访问的域上执行广度优先爬取。从页面v发现的每个超链接最初作为子节点添加。然而，到达给定网页的路径并非唯一，这可能导致循环和遍历长度膨胀。为解决此问题，我们强制执行规范最短路径策略：每当通过更短路径到达一个节点时，我们相应更新其父节点分配。具体地，每个节点存储其对应网页的可访问性树。  

**生成多跳任务**。收集G后，我们使用基于LLM的编码器fθ将每个节点v∈V嵌入到稠密表示hv∈Rd中。给定一个种子节点vs，我们通过稠密检索检索候选集R(vs)={v1,...,vk}。为诱导组合性，我们随机选择一个次节点vt∈R(vs)，并将(content(vs), content(vt))作为上下文提供给生成器LLM。模型被提示合成一个查询q，其答案A需要跨两个页面进行推理。这种检索-配对策略通过设计强制多跳依赖，而非依赖偶然的交叉引用。  

**控制质量**。所有生成的任务都经过多阶段验证流水线：  
1. 1\. **多跳验证**。我们拒绝模型产生两个独立单跳查询的合取（例如，用“和”连接）的情况，这类情况不构成真正的组合推理。  
2. 2\. **答案正确性**。对于每个候选(q,A)，我们让验证器LLM仅基于支持节点的内容，要求其复现或验证A。输出不正确或不可验证的被丢弃。  
3. 3\. **歧义检测**。我们评估q是否具有唯一答案。缺少关键限定词（例如，时间或地理约束）的查询被过滤掉。  
4. 4\. **可解性检查**。我们确保G中至少存在一条最小可执行路径P⋆，使得遍历后能获得足够的证据来推导A。这保证了确定性可重放性，并防止虚假生成。  
由此产生的基准由格式良好、无歧义的多跳任务组成，每个任务附带一个缓存的图G和一条最小可执行轨迹P⋆，从而实现可复现的训练和评估。  

### 2.2 基准细节  
我们流水线的一个关键特性是它*完全自动*：一旦构建了网站图，任务无需任何人工编写或干预即可生成。这一设计意味着，原则上，流水线可以扩展到在任意多个域上生成任意多的任务。  

**域**。本文中，我们在超过50个可公开访问的网站上实例化基准，涵盖医疗、金融、电子商务、娱乐、政府和科学资源。这种广度确保了异构的评估设置，总结于表4。  

**任务数量**。我们总共在所涵盖的域中生成了5,000个网站内任务。在医疗和金融类网站组中，我们生成了600个跨网站的网站间任务。这些生成的任务用于本文的实验。  

**流水线**。我们发布生成流水线，允许最终用户直接从实时网站创建最新任务。这支持评估数据的持续刷新，减少对静态基准的过拟合，并将GTA重塑为一个可重用的任务生成框架，而非一次性数据集。  

## 3 分析  
在本节中，我们首先比较各数据集的查询结构（第3.1节）。然后，我们通过将性能与一个简单的基于搜索的基线进行对比来定量评估任务难度，揭示与以往数据集不同，GTA任务无法通过单跳检索轻易解决（第3.2节）。我们进行页面覆盖率分析，衡量每个基准对底层网站图的探索广度，显示GTA实现了更高的结构多样性（第3.3节）。我们呈现人类评估结果，确认GTA为Web智能体评估提供了复杂、可验证且现实的任务（第3.4节）。