AgentMercury：您的代理能大规模合成业务场景的可验证环境

# AgentMercury：您的代理可大规模合成为商业场景构建的可执行环境  
来源：https://arxiv.org/html/2608.20634  
Chanwoong Yoon  
机构：马萨诸塞大学阿默斯特分校  
邮箱：[[email protected]](mailto:[email protected])  

###### 摘要  
代理通过与环境交互来学习行动，但训练所用的环境通常是人工构建或围绕预定义任务和基准合成的。这种以任务为中心的范式难以扩展到能反映真实、动态工作流程的环境，因为多样化的任务本应自然涌现于底层世界。我们引入 **AgentMercury**，一个可扩展的框架，能够从高层商业场景合成可执行环境。AgentMercury 并非为特定任务构建环境，而是首先实例化一个持久化世界，包含实体、服务、工具、状态及可执行的跨服务不变量，随后从中涌现多样化的任务与交互轨迹。我们构建了覆盖14个行业、50个国家的4,783个可执行环境，并将其用作强化学习的训练基质。尽管这些环境并非针对评估基准生成，但在其中训练的策略模型在企业工作流以及涵盖推理、编程、科学计算和工具使用的跨域基准上均取得显著提升。实验表明，Qwen3.5-4B 在 EnterpriseOps-GYM 上从12.3分提升至15.7分，在 AIME26 上从45.9分提升至56.0分。我们进一步证明，环境构建过程本身也可被学习：通过在构建轨迹上微调 Qwen3.5-35B-A3B，可将未见商业场景的可执行世界构建成功率从3.3%提升至83.3%。这些结果表明，基于场景的环境能够提供超越特定基准训练的通用学习信号，而其构建过程本身也可成为一种可学习的能力。我们开源了合成环境与任务、构建代码及训练后的策略模型，以支持可扩展环境生成与代理学习的进一步研究。111通讯作者：Minbyul Jeong  

## 1 引言  
现代代理系统通过互补的行动能力和世界建模能力与环境进行交互学习23 (https://arxiv.org/html/2608.20634#bib.bib19)。**策略模型**学习在给定代理当前状态时如何选择动作，而**世界模型**则预测环境如何响应这些动作34 (https://arxiv.org/html/2608.20634#bib.bib27); 10 (https://arxiv.org/html/2608.20634#bib.bib13); 50 (https://arxiv.org/html/20634#bib.bib14)。这两者共同定义了代理行动、观察与推理的交互循环46 (https://arxiv.org/html/20634#bib.bib18)。然而，这一循环通常假设世界已预先存在：环境的实体、服务、工具、状态与转移结构在代理开始学习前就已确定。我们认为，这使得第三个角色在很大程度上处于学习循环之外：**构建世界本身**。如图2 (https://arxiv.org/html/20634#S3.F2) 所示，我们区分三种角色：(1) 决定世界存在的**星球角色**；(2) 决定代理在该世界中行动的**策略π**；(3) 建模世界响应的**世界模型W**。尽管近期工作在策略学习和世界建模上取得了显著进展，环境仍普遍被视为预定义的产物，其实体、服务、初始状态和转移结构在代理学习开始前就已设定33 (https://arxiv.org/html/20634#bib.bib34); 43 (https://arxiv.org/html/20634#bib.bib33); 39 (https://arxiv.org/html/20634#bib.bib35); 8 (https://arxiv.org/html/20634#bib.bib12); 50 (https://arxiv.org/html/20634#bib.bib14)。这使得一个互补问题仍处于学习循环之外：**我们如何系统性地构建代理学习与操作的可执行世界？**  

环境很少被构建为独立的世界；相反，它们通常围绕代理预期解决的任务来设计。人工构建的环境为特定领域或任务指定了实体、工具、状态和转移逻辑32 (https://arxiv.org/html/20634#bib.bib26); 49 (https://arxiv.org/html/20634#bib.bib40); 41 (https://arxiv.org/html/20634#bib.bib39); 9 (https://arxiv.org/html/20634#bib.bib38)，而合成环境则常从任务描述、用户指令或评估规范中生成19 (https://arxiv.org/html/20634#bib.bib36); 8 (https://arxiv.org/html/20634#bib.bib12); 50 (https://arxiv.org/html/20634#bib.bib14); 35 (https://arxiv.org/html/20634#bib.bib11)。这种以任务为中心的范式使研究者能够高效构建受控环境用于训练与评估代理，并推动了日益强大的基准的快速发展16 (https://arxiv.org/html/20634#bib.bib10); 17 (https://arxiv.org/html/20634#bib.bib8); 22 (https://arxiv.org/html/20634#bib.bib9)。然而，它也将世界的构建与定义或评估这些世界的任务耦合在一起。因此，生成的环境通常针对特定任务的可执行性或可测量性进行优化，而非代表一个能让多样化任务自然涌现的更广泛场景4 (https://arxiv.org/html/20634#bib.bib20)。因此，增加任务数量并不必然增加底层世界的多样性39 (https://arxiv.org/html/20634#bib.bib35)，扩展基准覆盖范围也并未直接提供具有更丰富状态和行为的可交互环境空间8 (https://arxiv.org/html/20634#bib.bib12)。现实世界的代理应用13 (https://arxiv.org/html/20634#bib.bib25); 44 (https://arxiv.org/html/20634#bib.bib37)反而需要能够捕捉复杂进行中工作流的环境，例如由SWE7 (https://arxiv.org/html/20634#bib.bib31) 和 Tau风格领域2 (https://arxiv.org/html/20634#bib.bib2); 31 (https://arxiv.org/html/20634#bib.bib45) 所代表的环境。在此类场景中，任务很少是一个独立于其周围上下文的孤立目标。相反，它涌现于涉及用户意图、持久状态、软件服务及跨多个系统交互的演进工作流中26 (https://arxiv.org/html/20634#bib.bib15); 18 (https://arxiv.org/html/20634#bib.bib24); 1 (https://arxiv.org/html/20634#bib.bib3); 40 (https://arxiv.org/html/20634#bib.bib6); 48 (https://arxiv.org/html/20634#bib.bib7)。因此，一个足够丰富的世界可以支持许多不同的任务和交互轨迹，而无需在世界构建期间明确指定每个任务3 (https://arxiv.org/html/20634#bib.bib16); 36 (https://arxiv.org/html/20634#bib.bib17)。这推动了从**以任务为中心的环境构建**向**基于场景的世界生成**47 (https://arxiv.org/html/20634#bib.bib5); 35 (https://arxiv.org/html/20634#bib.bib11)的转变，其中高层场景作为可执行世界及其可能任务涌现的源泉。  

然而，实现这一范式不仅需要生成任务描述或静态初始状态。生成的世界必须忠实地实例化实体、服务、工具、状态表示、转移逻辑以及支配该场景的世界级不变量。商业工作流为这一表述提供了自然的环境，因为它将结构化的操作流程与用户、软件系统、工具和演进的持久状态之间的多样化交互相结合。  

**图1：** AgentMercury大规模合成多样化、可扩展、可验证的商业环境。(a) 合成环境覆盖14个行业、50个国家，包含4,783个匿名化环境以防止幻觉。(b) 与现有代理环境38 (https://arxiv.org/html/20634#bib.bib4); 40 (https://arxiv.org/html/20634#bib.bib6); 31 (https://arxiv.org/html/20634#bib.bib45); 8 (https://arxiv.org/html/20634#bib.bib12)的环境规模与多服务深度比较；AgentMercury占据大规模且多服务的区间。(c) 每个环境包含丰富的有状态结构，包括多个服务、工具、状态表及执行SQL验证器以强制跨服务约束。  

基于此视角，我们引入 **AgentMercury**，一个可扩展的框架，用于从高层商业场景创作可执行环境。AgentMercury 不从单个任务开始，而是将场景视为构建可执行世界的规范。**星球**首先实例化世界，包括其实体、服务、工具、持久状态、转移动态和世界级不变量。生成的世界随后可以通过相同的基础工作流涌现出多样化的任务和轨迹，同时保持有状态和跨服务交互的一致性。特别是，世界级不变量被呈现为可执行的验证条件，而非硬编码为转移规则，这使得同一个世界可以支持不同的任务，同时为评估其结果提供确定性信号。这种世界构建、任务实例化与代理交互之间的分离使得环境可以独立于任何特定基准任务生成，随后在训练和评估中重复使用。  

最终生成的环境集合证明了基于场景的构建可以超越孤立任务实例进行扩展。如图1 (https://arxiv.org/html/20634#S1.F1) 所示，AgentMercury 合成了覆盖14个行业、50个国家的4,783个可执行环境。与先前工作38 (https://arxiv.org/html/20634#bib.bib4); 40 (https://arxiv.org/html/20634#bib.bib6); 31 (https://arxiv.org/html/20634#bib.bib45); 8 (https://arxiv.org/html/20634#bib.bib12)相比，我们的合成环境和任务在规模上具有竞争力，同时提供了显著更丰富的多服务和有状态交互。每个环境包含持久状态、多个服务和工具，以及可通过交互验证的可执行跨服务约束。这种构建过程不是围绕单个任务定义环境，而是创建了一个持久世界，多样化的任务和交互轨迹可以从中涌现。因此，最终的集合为在独立于目标任务的世界中训练代理提供了广泛的基质。  

我们首先研究这些基于场景的环境是否可以作为策略学习的有效训练基质。我们直接在 AgentMercury 合成的环境中使用强化学习训练策略模型，而不围绕目标任务构建训练环境。在这些世界中，策略必须与持久状态交互，使用可用工具，并满足底层商业场景引起的约束。随着训练的进行，策略在这些可执行任务上的奖励得到提升，并且重要的是，在未用于构建训练环境的既定基准上也得到提升。我们在企业工作流以及涵盖推理、编程、科学计算、知识和工具使用的跨域基准上都观察到收益。这些结果表明，扩展基于场景的世界的多样性可以提供超越训练期间特定任务的学习信号。  

接下来我们探究构建过程本身是否可以成为一种可学习的能力。AgentMercury 暴露了将高层商业场景转化为可执行世界所使用的中间构建轨迹，包括对实体、服务、持久状态、转移逻辑和验证条件的更改。这些轨迹为学习如何构建和修改可执行世界提供了结构化的监督。利用这种监督，我们微调了一个策略模型，使其能够从未见过的商业场景创作可执行世界。最终模型在其未见过的创作任务上的成功率显著提升，这表明环境构建不仅是学习循环之外的工程过程，其本身也可以从 AgentMercury 生成的构建轨迹中学习。这指向了一个可扩展的循环：基于场景的世界为代理提供训练信号，而构建过程为扩展可用世界空间提供了可学习的接口。  

综上所述，我们的贡献如下：  
(1) 我们引入 AgentMercury，一个可扩展的基于场景的可执行环境合成框架，将代理世界的构建显式化为代理-环境系统中的**星球**角色。  
(2) 我们构建并开源了4,783个覆盖14个行业、50个国家的可执行商业环境，包含持久状态、多服务交互和可执行跨服务约束，为强化学习提供可复用的基质。  
(3) 我们证明，在这些环境中训练的策略在域内企业工作流和涵盖推理、编程、科学计算、知识和工具使用的一系列跨域基准上均有所提升，尽管训练环境的构建独立于目标任务。  
(4) 我们表明，AgentMercury 生成的构建轨迹本身可以为环境创作提供有效的监督。在这些轨迹上进行微调使模型能够从高层商业场景构建可执行世界，这表明世界构建可以成为一种可学习的能力。  
(5) 我们开源了合成环境、商业场景与任务指令、构建代码差异以及训练后的策略模型，以促进可扩展环境生成与代理学习的进一步研究。  

## 2 预备知识  

#### 策略模型  
策略模型指定了代理在环境中的行为方式。在每个时间步 \( t \)，策略 \( \pi \) 将代理可用的信息映射到动作分布上：\( a_t \sim \pi(\cdot \mid h_t) \) (1)，其中 \( h_t \) 表示截至时间步 \( t \) 代理可用的交互历史。在完全可观测的设置中，\( h_t \) 可简化为当前状态 \( s_t \)；但在本文考虑的部分可观测环境中，底层状态并未直接暴露给代理。因此，策略决定了*代理在给定世界中如何行动*，但并不决定哪些实体、服务或转移机制构成该世界34 (https://arxiv.org/html/20634#bib.bib27)。  

#### 世界模型  
世界模型提供了环境如何响应代理动作演进的预测性表示10 (https://arxiv.org/html/20634#bib.bib13); 11 (https://arxiv.org/html/20634#bib.bib23); 12 (https://arxiv.org/html/20634#bib.bib22)。给定交互历史和动作，世界模型预测后续状态或观测：\( W(s_{t+1} \mid h_t, a_t) \) (2)。因此，虽然环境执行其转移动态，世界模型则学习近似这些动态。