训练需要可信的世界：用于智能体学习的验证合成网络环境

# 训练需要可信环境：用于智能体学习的经验证的合成网络环境  
来源：https://arxiv.org/html/2608.21898  
###### 摘要  
网络智能体有望实现复杂数字工作流的自动化，但其训练仍受限于合成环境——这些环境虽看似合理，却隐藏着失效链接、状态不一致或不可行任务等问题。我们通过构建可执行、可审计且基于后端状态的合成网络环境，来弥合可扩展环境生成与可信智能体学习之间的差距。该框架将每个生成的网站表示为由页面、导航链接、数据库记录、状态变更标记和任务约束构成的结构化脚手架，并在策略训练前验证和修复结构、语义、一致性及可行性缺陷。在交互过程中，普通UI转换按确定性方式执行，而持久性后端更新仅通过经验证的状态变更标记来触发，从而能够基于经验证的任务进度谓词编译出密集奖励。在覆盖六个领域、共计500个合成环境的实验中，该方法减少了任务阻塞缺陷，将可行任务率从48.6%提升至94.8%，同时生成了更强的PPO策略，并在不依赖评估时LLM调用的情况下改进了向WebArena、WebShop和MiniWoB++的迁移效果。这些结果表明，经验证的合成环境可以作为紧凑型网络智能体可扩展且可靠的训练基础，推动合成网络智能体学习从表层合理性转向可执行、基于状态的监督。  
††脚注文本：1宾夕法尼亚大学。††脚注文本：2中山大学深圳校区。††脚注文本：3佩斯大学。  

## 1 引言  
自主网络智能体旨在通过感知图形界面、选择基于环境的动作并操作持久网络状态，来完成用户指定的任务。这一能力对于自动化数字工作流（如购物、预订、表单提交、客户服务操作和企业知识工作）日益重要。尽管大型语言模型和多模态智能体进展迅速，网络交互仍具挑战性，因为成功执行需要长期规划、对动态界面的精确定位，以及对隐藏后端状态（而非仅可见页面内容）的可靠推理。  

近期基准测试和系统显著推动了网络智能体研究。早期平台如World of Bits和MiniWoB++为强化学习提供了可复现的浏览器控制任务（Shi et al. 2017；Liu et al. 2018），而WebShop、Mind2Web、WebArena、VisualWebArena、WorkArena和BrowserGym则引入了更真实的任务、网站、演示和评估协议（Yao et al. 2023a；Deng et al. 2023；Zhou et al. 2024；Koh et al. 2024；Drouin et al. 2024；Chezelles et al. 2024）。与此同时，基于LLM的智能体（如ReAct、WebVoyager、AgentOccam、Agent Q和WebRL）提升了推理、探索和从交互轨迹中学习的能力（Yao et al. 2023b；He et al. 2024；Yang et al. 2024；Putta et al. 2024；Qi et al. 2024）。这些研究表明，网络智能体可受益于更丰富的环境和更大规模的交互数据。然而，它们也揭示了一个核心瓶颈：高质量网络智能体训练需要大量可执行、有状态且可验证的环境，而现实网络环境构建成本高、重置困难，且任务覆盖范围有限。  

一个自然方向是利用LLM合成环境、任务或智能体经验。先前工作表明，生成的环境和合成轨迹可支持具身和数字环境中的智能体学习（Zala et al. 2024；Patel et al. 2024）。但直接生成的网络环境容易出现更深层次的可靠性问题：局部合理的页面仍可能包含全局无效的工作流。例如，链接可能无法访问、数据库值可能与渲染内容矛盾、必需控件可能缺失，且任务成功条件可能无法对应任何可执行的状态转换。这类缺陷对强化学习尤其有害，因为智能体可能从那些表面失败源于脚手架错误（而非策略错误）的环境中获得监督。现有方法未能完全解决"看似合理的生成"与"可执行、基于状态的交互"之间的高阶不匹配。  

参考图1：先前方法在表面合理但不一致的网络交互上训练，而我们的方法验证并修复环境，为更有效的智能体策略提供可执行、基于状态的监督。  

本文探讨：*如何构建不仅多样且真实，而且可执行、可审计并适用于训练紧凑型网络智能体的合成网络环境？* 我们通过将生成对象从孤立页面或轨迹转向经验证的环境脚手架来回答这一问题。如图1所示，我们的方法首先将合成网站表示为具有页面、导航、数据记录、状态变更事件和任务约束的结构化环境；然后在策略学习前验证并修复脚手架；最后使用源于后端状态任务进度（而非表层文本判断）的奖励来训练智能体。这一设计旨在使合成网络交互成为可靠的训练基础，将失败归因于策略（而非隐藏的环境无效性）。  

我们的贡献总结如下：  
- • 我们指出轨迹或页面级生成的一个核心局限：网络智能体训练依赖于任务在一致后端动态下是否可执行，而非生成的界面是否表层合理。  
- • 我们提出一个框架，用于规范化、验证和修复生成的网络脚手架，产生具有显式导航结构、数据库绑定、状态变更事件和任务约束的环境。  
- • 通过从经验证的后端状态进度中导出密集奖励，并在评估时不依赖LLM调用执行普通交互，我们的框架实现了合成网络环境中的高效强化学习，同时保持了任务级的可审计性。  

## 2 相关工作  
##### 网络交互基准与网络智能体。  
早期工作将网络交互定义为针对半结构化界面的语言条件控制，从指令遵循到World of Bits和MiniWoB++等可复现环境（Branavan et al. 2009；Shi et al. 2017；Liu et al. 2018）。后续基准测试扩展了真实性和任务多样性，包括WebShop、Mind2Web、WebArena、VisualWebArena、WorkArena和BrowserGym（Yao et al. 2023a；Deng et al. 2023；Zhou et al. 2024；Koh et al. 2024；Drouin et al. 2024；Chezelles et al. 2024）。近期的WebVoyager和AgentOccam等智能体进一步表明，改进观察和动作设计有益于网络导航（He et al. 2024；Yang et al. 2024）。然而，这些工作主要提供固定基准或智能体端改进，而非自动构建大规模、可执行、有状态且经验证有效的训练环境的方法。相反，我们的工作生成经过检查的网络环境，其页面、数据绑定、事件和任务约束在策略学习前被显式表示和验证。  

##### 合成环境与智能体经验生成。  
另一相关领域利用LLM通过生成环境、任务或轨迹来降低交互学习成本。EnvGen使用LLM为具身RL智能体自适应创建训练环境（Zala et al. 2024），而DreamGym通过学习的推理型环境模型合成智能体经验（Chen et al. 2025）。对于网络智能体，自改进方法从智能体轨迹中合成或优化交互数据，包括模型生成的网络轨迹（Patel et al. 2024）、Agent Q中的搜索与偏好优化（Putta et al. 2024），以及WebRL中的自进化课程强化学习（Qi et al. 2024）。这些方法展示了使用生成交互数据的潜力，但生成的监督常以轨迹为中心，可能继承无效动态、不一致状态或不可验证的任务完成条件。相反，我们的方法将环境本身作为生成对象：原始脚手架被规范化、验证、修复，并通过受限的状态变更标记进行检测，使得轨迹由可执行模拟器产生（而非无约束的轨迹合成）。  

##### 数字智能体的奖励、验证与策略学习。  
网络智能体学习困难，因为长期任务通常提供稀疏的终端反馈。先前的RL方法通过演示和工作流约束改进了探索（Liu et al. 2018），而WebShop使用编程匹配函数提供任务特定奖励（Yao et al. 2023a）。近期研究针对网络或设备控制智能体探索自动评估器和过程奖励模型，例如自主评估器引导优化和Web-Shepherd的步级奖励建模（Pan et al. 2024；Chae et al. 2025）。这些方法提升了反馈质量，但常依赖学习的或基于LLM/VLM的评估器，成本高昂、校准不佳或与真实后端状态脱节。我们的工作采取更基于环境的路径：任务约束被编译为后端状态谓词以产生密集进度奖励，而无效的标记触发更新在构建时即被拒绝。这使得标准PPO训练（Schulman et al. 2017）能在经检查的合成环境中应用于紧凑策略，且策略评估时无需LLM调用。  

## 3 预备知识  
### 3.1 网络交互与环境脚手架  
我们将网络交互建模为目标条件序列决策过程。任务t∈T提供指令x_t和基于环境状态的程序完成约束C_t。从s_0∼ρ_t开始，智能体观察渲染界面、选择基于DOM的动作并触发状态转换：o_k=Render(s_k), a_k∈A(o_k), s_{k+1}=T(s_k, a_k)。(1)终端成功信号由C_t(s)∈{0,1}给出。此设定具有挑战性，因为智能体仅观察渲染界面（而非完整后端状态），且成功完成常需长期导航、表单填写和有状态更新。  

我们将生成的网络环境表示为E=(P,L,D,T)，其中P是页面集，L⊆P×P是导航图，D是具有初始化记录的数据库模式，T是具有可验证约束的任务集。每个页面p_i∈P包含DOM树τ_i和交互元素I_i，其动作类型和参数模式将高层动作定位到可执行UI操作中。此表示分离出两个层次。*静态脚手架*在执行前定义页面、链接、数据库绑定、交互元素和任务约束。*动态层*指定动作如何在交互期间更新持久记录和会话变量。这种分离是必要的，因为一次性LLM生成常产生局部合理但全局无效的界面。  

我们考虑四类脚手架缺陷：结构缺陷(Δ_S)（如失效链接或不可访问页面）、语义缺陷(Δ_C)（如无效字段值或占位符内容）、一致性缺陷(Δ_X)（如跨页面矛盾实体属性）和可行性缺陷(Δ_T)（缺失控件或工作流步骤导致任务不可满足）。  

### 3.2 动机诊断  
我们对来自六个领域的500个原始LLM生成环境进行轻量诊断研究，涵盖6,842个生成任务，并分析脚本和人类辅助轨迹中的1,800条成功轨迹。对于缺陷类别c，令N_c(E)为其每环境计数。我们通过下式衡量其任务阻塞效应：  
B_c(E) = 1/|T(E)| Σ_{t∈T(E)} 1[Block_c(E,t)=1], (2)  
其中Block_c(E,t)表示在有限轨迹分析中任务t被类别c阻塞。对于轨迹τ=(s_0,a_0,...,s_H)，我们通过下式衡量标记触发稀疏性：  
M(τ) = 1/H Σ_{k=0}^{H-1} 1[μ(p_k,a_k)≠∅],  
U(τ) = Σ_{k=0}^{H-1} 1[μ(p_k,a_k)≠∅], (3)  
其中μ(p_k,a_k)返回由动作a_k触发的状态变更标记。  

参考图2：动机诊断。(a)原始LLM生成环境包含频繁缺陷，语义和结构缺陷主导平均每个环境12.4个缺陷。(b)缺陷频率和有害性不同：可行性缺陷较少但最可能阻塞任务完成。(c)标记触发更新在各领域稀疏，表明大多数交互是确定性UI转换。(d)即使在较长情节中，状态写入调用次数仍保持较小。  

图2支持两个设计选择。首先，原始脚手架需要验证，因为仅凭缺陷数量会低估任务级危害：可行性和结构缺陷尤其可能阻塞可执行工作流。其次，运行时状态更新稀疏：大多数步骤仅涉及确定性UI渲染。