AsyncWebRL：面向视觉Web代理的高效多步强化学习

# AsyncWebRL: 视觉化网页智能体的高效多步强化学习  
来源：https://arxiv.org/html/2606.05597  
Hao Bai1,2 Rui Yang1,2 Chenlu Ye1 Spencer Whitehead2 Aviral Kumar3 Tong Zhang1  
1UIUC 2Microsoft 3CMU  
项目页面 (https://asyncwebrl-website.github.io/)  
代码 (https://github.com/microsoft/webgym/tree/async)  
任务集 (https://huggingface.co/datasets/microsoft/webgym_tasks)  

###### 摘要  
使用多步强化学习训练视觉语言网页智能体计算开销巨大，主要存在两种低效形式：同步强化学习中的 GPU 空闲，以及轨迹使用比必要更多步数和 token 的情况。我们提出 AsyncWebRL，同时解决这两个问题。在系统端，异步设计使 rollout、梯度更新和策略刷新在迭代间重叠，并搭配两种针对网页智能体的特定适配——即持久化 rollout 池和轻量级截图处理——从而在端到端训练吞吐量上相比此前最快的开源同步流水线 (WebGym) 实现高达 **2.9×** 的加速。在算法端，我们发现多步 GRPO 中的每条轨迹归一化器 **1/|τ_i|** 是轨迹级和 token 级低效的根本原因：由于失败轨迹系统性地比成功轨迹更长，它会降低失败 token 上负梯度的权重，导致策略持续产出冗长的记忆模式。将 **1/|τ_i|** 替换为常数 **1/k** 可以打破这种耦合，在保持整体成功率的同时缩短轨迹。综合这些贡献，我们在 WebGym 分布外测试集上树立了新的开源标杆（相对此前最佳 42.9% 提升 **+5.8%**），且在更难的切片上收益最大（中等难度相对提升 **+42%**，困难难度相对提升 **+48%**）。  
AsyncWebRL: 视觉化网页智能体的高效多步强化学习  
Hao Bai1,2 Rui Yang1,2 Chenlu Ye1 Spencer Whitehead2 Aviral Kumar3 Tong Zhang1  
1UIUC 2Microsoft 3CMU  
项目页面 (https://asyncwebrl-website.github.io/)  
代码 (https://github.com/microsoft/webgym/tree/async)  
任务集 (https://huggingface.co/datasets/microsoft/webgym_tasks)  

## 1 引言  
基于多步强化学习的视觉语言网页智能体已迅速成为完成网络长尾真实任务的自主浏览器的领先方案 (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27); Wang et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib10); Wei et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib11); Yang et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib9))，这是从单轮偏好调优向长视野、环境驱动的智能体训练更广泛转变的一部分。该机制的核心特点是计算量：每次训练运行消耗数百 GPU 小时，同时运行数百个浏览器会话，而进展很大程度上取决于训练器每个壁钟小时能有效消耗的轨迹数量。在这样的背景下，任何计算低效都会直接转化为在固定预算下表现更差的智能体。本文针对两种形式的低效，在单一框架内同时解决，结合了 (1) 一个完全异步的系统设计，专门针对逐步可视化 rollout，以及 (2) 一行算法的修正，在不损害最终成功率的前提下缩短轨迹和 token 使用。  
GPU 空闲的自然系统解决方案是**异步 RL**，其中 rollout、梯度更新和策略刷新在迭代边界上并发进行 (Mnih et al., 2016 (https://arxiv.org/html/2606.05597#bib.bib17); Espeholt et al., 2018 (https://arxiv.org/html/2606.05597#bib.bib18); Hilton et al., 2021 (https://arxiv.org/html/2606.05597#bib.bib29))。表面上看这似乎是个已解决的问题：单步 LLM-RL 已经异步，而 WebGym (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27)) 已经实现了迭代内 rollout 的异步。然而，将**可视化、多步和完全异步**这三个特性结合，需要一个现有开源系统均未具备的协调设计 (第 2 节 (https://arxiv.org/html/2606.05597#S2))。其核心困难有两个部分。首先，可视化多步 rollout 的自然负载——每条轨迹数十张高分辨率截图，每步在工作节点间共享——会淹没标准的节点间数据存储，并将框架推入缓慢的磁盘溢出路径，从而抵消任何异步收益。其次，WebGym 使用的迭代同步 rollout 池每轮都会在数百个浏览器会话上支付预热成本。我们通过两种针对网页智能体的设计来解决这两个问题：轻量级截图处理和持久化 rollout 池。前者完全将图像张量排除在共享数据存储之外，仅将轻量级引用在 rollout 工作节点和训练器之间路由。后者使工作节点在迭代边界间持续存活，因此回合即时交接，且 π_θ 的参数更新从不阻塞采集 (第 3.1 节 (https://arxiv.org/html/2606.05597#S3.SS1))。由此产生的 off-policy 差距也需要算法修正。我们采用 Hilton et al. (2021) (https://arxiv.org/html/2606.05597#bib.bib29) 的解耦 PPO 分解，将标准的 π_θ / π_behave 比值拆分为 rollout 陈旧项和当前更新项，并将 PPO 风格裁剪 (Schulman et al., 2017 (https://arxiv.org/html/2606.05597#bib.bib26)) 中心化到近端策略 π_prox ≈ π_θ 上。如第 3.2 节 (https://arxiv.org/html/2606.05597#S3.SS2) 和第 4.3 节 (https://arxiv.org/html/2606.05597#S4.SS3) 所示，这大致将裁剪触发率减半，并显著加速奖励提升。据我们所知，由此得到的系统是报告中最快的视觉化网页智能体开源多步 RL 框架，相比此前开源的 rollout 池 (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27)) 实现 **2.4** 到 **2.9×** 的端到端加速。  
除了这种 off-policy 修正形式，我们发现每条轨迹步数归一化（即多步 GRPO 中的 **1/|τ_i|** (Shao et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib28))）是轨迹级和 token 级低效的根本原因，并将其替换为常数 **1/k** (第 5 节 (https://arxiv.org/html/2606.05597#S5))。其直觉与 Dr. GRPO (Liu et al., 2025b (https://arxiv.org/html/2606.05597#bib.bib4)) 相似，但在步级粒度而非 token 粒度：在我们的设置中，失败平均 12.5 步，而成功平均 5.1 步，因此 1/|τ_i| 将失败 token 上的梯度衰减约 **≈2.4×**，导致策略产生冗长的记忆模式。结合 off-policy 修正，这在 WebGym OOD 测试集上树立了新的标杆 (第 4.2 节 (https://arxiv.org/html/2606.05597#S4.SS2))。  
**我们的贡献：**  
(1) **系统。** 首个完全端到端异步的视觉化网页智能体开源多步 RL 框架，通过持久化 rollout 池、轻量级截图处理和解耦的重要性采样比 (第 3.1 节 (https://arxiv.org/html/2606.05597#S3.SS1))，相比此前最快的开源同步流水线实现 2.4 到 2.9× 的端到端加速，并在 WebGym OOD 测试集上树立新的开源标杆（相对此前最佳 42.9% 提升 **+5.8%**）。  
(2) **算法。** 诊断多步 GRPO 中每条轨迹步数归一化器 1/|τ_i| 为轨迹级和 token 级低效的根本原因，通过长度耦合的记忆漂移进行追踪 (第 5 节 (https://arxiv.org/html/2606.05597#S5))，并一行修正将其替换为常数 1/k，这在更难的 OOD 切片上带来了最大收益（中等难度相对提升 **+42%**，困难难度相对提升 **+48%**，相比此前 WebGym SOTA）。  

## 2 相关工作  
**系统：视觉化、多步和异步 RL。** VLM 策略上的多步 RL 已应用于网页浏览 (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27); Wei et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib11); Yang et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib9))、计算机使用 (Bai et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib13), 2025 (https://arxiv.org/html/2606.05597#bib.bib12); Wang et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib10))、具身学习 (Kim et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib15); Liu et al., 2025a (https://arxiv.org/html/2606.05597#bib.bib14)) 和顺序决策 (Zhai et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib16))。开源框架分为两个互不相交的子集，而 AsyncWebRL 将它们连接起来。  
*文本上的异步 LLM-RL* 和*异步单轮 VLM-RL* (Fu et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib20); Lu et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib23); Sheng et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib24); Wu et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib5); Han et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib22); Zhong et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib21); Zhou et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib25); Noukhovitch et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib19); Sheng et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib2)) 每个训练样本最多传输一张图像；将多轮网页智能体 rollout（每条轨迹数十张高分辨率截图，数百并发）推入其共享数据存储会耗尽预算，并触发磁盘溢出路径，从而抵消异步收益。  
*同步多步 VLM-RL* (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27); Wei et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib11); Bai et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib13), 2025 (https://arxiv.org/html/2606.05597#bib.bib12)) 承载了正确的工作负载，但每个迭代边界重新同步，留下 GPU 气泡。将后者切换到完全异步执行会引入同步框架从未见过的 off-policy 差距：训练批次包含多个策略版本的 token，信任区域必须重新中心化到近端策略 (Hilton et al., 2021 (https://arxiv.org/html/2606.05597#bib.bib29))，以便裁剪反映当前更新移动而非 rollout 陈旧性。闭源的 UI-TARS-2 (Wang et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib10)) 据报告满足所有三个属性，但仅发布模型权重。据我们所知，AsyncWebRL 是首个结合所有三个属性的开源框架。  
**算法：长度不对称下的损失形状。** 在算法方面，Dr. GRPO (Liu et al., 2025b (https://arxiv.org/html/2606.05597#bib.bib4)) 表明单轮 GRPO 归一化器 1/|y_i| 重新加权了长响应与短响应之间的每个 token 梯度，去除它（将 1/|y_i| 替换为常数）纠正了单个响应内部的意外长度偏差。我们将该诊断向上提升一个层次。在多步 GRPO (Shao et al., 2024 (https://arxiv.org/html/2606.05597#bib.bib28); Zeng et al., 2025 (https://arxiv.org/html/2606.05597#bib.bib7)) 中，类似因子是每条轨迹步数归一化器 1/|τ_i|，它将每个 token 梯度尺度与轨迹长度耦合。单轮分析未曾见到的步级粒度新问题是，多步网页智能体设置有两个结构特征，使得 Dr. GRPO 的步级预测变成自我强化的失效模式：失败轨迹主要由视野耗尽而非明显错误动作主导，并且针对多步视觉环境的附加记忆提示会随着步数增加而机械地延长每步响应。我们在第 5 节 (https://arxiv.org/html/2606.05597#S5) 追踪这些特征，并展示 Dr. GRPO 修正的多步对应版本从源头打破了循环。  

## 3 AsyncWebRL  

### 3.1 系统  
参照说明  
图 1：多步异步管理。  
与 WebGym 相比，AsyncWebRL 消除了由在每个迭代边界重建 rollout 池并等待 π_t 策略刷新完成引起的**迭代间气泡时间**。彩色块表示产生轨迹的并发 rollout 工作节点、π_t 上的梯度更新以及将新权重广播到 rollout 工作节点的策略刷新。同步 RL（顶部）下的白色间隙是气泡时间。AsyncWebRL（底部）通过维持持久化 rollout 池消除这些间隙，使 rollout、梯度更新和策略刷新连续重叠。  
我们的目标是让 GPU 不互相等待，并防止共享节点间存储因逐步图像流量而饱和。在 WebGym (Bai et al., 2026 (https://arxiv.org/html/2606.05597#bib.bib27)) 的同步多步 rollout 池基础上，我们做了两项更改：**完全异步执行与持久化 rollout 池**，以及**轻量级截图处理**。前者使 rollout 工作节点在迭代边界间持续存活，并使 rollout、梯度更新和策略刷新端到端重叠：当一个回合结束时，下一个回合在同一工作节点上立即开始，无需等待批次其余部分或下一次迭代。π_θ 的参数更新可在 rollout 持续的任何时刻发生；新权重就地广播到推理工作节点，下一个 rollout 段在更新后的策略下采样（图 1 (https://arxiv.org/html/2606.05597#S3.F1)）。后者（附录 B (https://arxiv.org/html/2606.05597#A2)）将逐步图像张量排除在共享存储之外，仅将轻量级引用在 rollout 工作节点和训练器之间路由，从而防止数百个并发高分辨率 rollout 否则会触发的磁盘溢出路径。两者共同消除了等待批次中最慢轨迹所花费的 GPU 空闲时间，以及每当 rollout 池每轮重建时在数百个浏览器会话上支付的预热成本。  

### 3.2 算法  
J(θ)=Eτ∼πbehave[1G⋅k∑i=1G∑j=1|τi|∑t=1|τi,j|min(πθπbehaveA^i,πproxπbehaveclip(πθπprox,1−ε,1+ε)A^i)].  
(1)  
**解耦的 off-policy 修正。** 异步执行改变了采样分布：产生策略的那