EvoCUA-1.5：面向多轮计算机使用代理的在线强化学习

# EvoCUA-1.5：面向多轮计算机使用智能体的在线强化学习

来源：https://arxiv.org/html/2607.09773
Taofeng Xue\*,†\\dagger 美团 Chong Peng\*,†\\dagger 美团 Jinrui Ding\* 美团 Sicheng Fan 美团 复旦大学 Jiale Hong 美团 上海交通大学 Yufei Gao 美团 浙江大学 Xiaocheng Zhang 美团 Linsen Guo 美团 Xin Yang 美团 Dengchang Zhao 美团 Xiandi Ma 美团 Yuchen Xie 美团 Peng Pei 美团 Xunliang Cai 美团 Xipeng Qiu 复旦大学

###### 摘要

计算机使用智能体必须通过与部分可观测、多模态桌面环境的反复交互，来解决长期任务。虽然模仿学习和离线轨迹精炼提供了强大的先验知识，但静态轨迹无法覆盖真实计算机使用中的因果反馈循环：每个动作都会改变屏幕状态、未来的动作空间以及恢复选项。EvoCUA-1.5 将自演化计算机使用智能体从离线经验学习扩展至在线强化学习，其中策略与可执行的沙盒环境交互，并从可验证的任务结果中改进。此场景下的在线 RL 并非简单复用单轮语言 RL 方法即可。多轮交互引入了上下文管理的观测、稀疏的终端奖励、可变长度的轨迹以及缓慢的环境反馈。EvoCUA-1.5 通过以下方法应对这些挑战：步骤级策略优化 (STEPO)，在将轨迹分解为步骤级样本后保持轨迹级优势平衡；基于策略感知的过滤和通过率校准，应用于可验证合成任务；动态三自适应课程 (DTAC)，结合了可学习任务、困难正例回放以及受控的不可行任务暴露；以及一个完全异步的 RL 基础设施，具备陈旧性控制和迷你分组批处理。实验表明，这些组件提升了训练稳定性和下游性能。EvoCUA-1.5 在 OSWorld-Verified 上达到 63.2% 的成功率，优于同类 32B/35B 规模的开源权重基线，甚至接近参数规模显著更大的模型。总体而言，EvoCUA-1.5 为在多轮计算机使用智能体中扩展在线 RL 提供了一个实用框架。

††脚注：\*同等贡献。†\\dagger 通讯作者。
参见说明图 1：OSWorld-Verified 上的性能对比。EvoCUA-1.5 达到 63.2% 的成功率，优于同类 32B/35B 规模的开源权重模型。

## 1 引言

开发能够操作图形用户界面 (GUI) 的通用型计算机使用智能体，是实现自主计算机使用的关键一步。与专门的自动化工具不同，这些智能体必须感知复杂的视觉上下文，从部分观察中推断任务相关状态，并在异构应用程序中执行长期工作流。近期的原生视觉语言模型 (VLM) 在将感知、推理和行动统一到端到端计算机使用智能体方面取得了实质性进展 (Bai et al., 2025b (https://arxiv.org/html/2607.09773#bib.bib10); ByteDance Seed Team, 2025 (https://arxiv.org/html/2607.09773#bib.bib17); Wang et al., 2025b (https://arxiv.org/html/2607.09773#bib.bib3), a (https://arxiv.org/html/2607.09773#bib.bib4))。尽管如此，在真实计算机使用环境中实现可靠性能仍然困难，尤其对于需要多步探索、从错误中恢复以及适应动态界面状态的任务。

当前的进展很大程度上仍由模仿学习或在固定交互轨迹上的离线精炼驱动。这种静态数据提供了有用的行为先验，但无法完全捕捉真实计算机使用的因果反馈循环：每个动作都会改变环境状态，进而决定下一个观测和未来的动作空间。因此，主要基于离线轨迹训练的模型受限于先前收集经验的覆盖范围，可能在长尾状态、延迟后果以及仅在交互过程中出现的失败上表现不佳。这一局限性促使从静态轨迹缩放转向*在线经验缩放*，即策略直接与可执行环境交互，接收可验证反馈，并从新生成的经验中改进。

EvoCUA (Xue et al., 2026 (https://arxiv.org/html/2607.09773#bib.bib41)) 探索了从离线合成经验进行自演化。EvoCUA-1.5 通过引入面向多轮计算机使用智能体的在线强化学习，扩展了这一工作。我们确定了若干关键设计选择，使在线 RL 在计算机使用环境中有效。我们发现，直接将单轮 RL 方法移植到计算机使用智能体是不够的。一条计算机使用轨迹包含多个决策，每个决策都依赖于一个上下文管理策略，该策略可能会驱逐、折叠或总结早期观测。因此，训练样本必须在上下文管理之后构建，而不是通过简单地屏蔽静态轨迹来获得。这个看似实现层面的细节改变了优化问题：一个轨迹级奖励被扩展为多个步骤级样本，而朴素的 GRPO 风格优势复用可能会过度加权长轨迹并破坏学习稳定性。

除了目标本身，面向计算机使用智能体的在线 RL 还必须解决完整训练循环的效率和稳定性问题。由于终端奖励稀疏且轨迹生成成本高昂，校准不佳的任务分布可能会浪费 rollout 计算资源或产生高方差更新。已经太容易的任务缺乏对比，远超当前策略能力的任务大多产生失败的 rollout，而噪声验证器可能将环境反馈转化为误导性梯度。同时，系统瓶颈比纯文本 RL 更严重：每次交互步骤涉及截图渲染、动作执行、环境转换和奖励验证，使得经验生成速度远慢于模型优化。因此，稳定高效的学习需要目标、任务选择、课程和学习异步基础设施的协调设计。

本文提出 EvoCUA-1.5，一个面向多轮计算机使用智能体的在线 RL 框架。我们将计算机使用交互形式化，包含显式推理和上下文管理，然后引入一套集成的优化、数据、课程和系统机制，以实现在线优化稳定。首先，我们提出步骤级策略优化 (STEPO)，它在轨迹级别计算优势，并在轮次级别样本间重新分配，以保持轨迹分解后的组级平衡。其次，基于 EvoCUA 中引入的可验证任务合成，我们为在线 RL 开发了更严格的数据过滤和校准流程，利用沙盒可行性检查、可执行验证器、模型评审轨迹分析以及策略相关的通过率统计，来维持高信噪比的训练数据。第三，我们提出动态三自适应课程 (DTAC)，它动态结合了方差自适应采样、难度自适应正例回放以及受控的不可行任务采样。最后，我们构建了一个异步在线 RL 基础设施，通过一个具有陈旧性控制的数据缓冲区，将 rollout 生成与策略更新解耦。

我们的主要贡献总结如下：

- •**步骤级策略优化**。我们提出步骤级策略优化 (STEPO)，以解决轨迹级奖励与轮次级训练样本之间的不匹配。通过将每个轨迹优势分布到其分解的步骤中，STEPO 相比直接将 GRPO 应用于多轮计算机使用轨迹，提升了训练效率。
- •**策略感知的数据过滤与校准**。我们引入了一个基于 EvoCUA 可验证任务合成的高信噪比在线数据过滤机制，根据沙盒可行性、验证器可靠性以及模型相关的通过率统计来选择任务。
- •**自适应课程学习**。我们提出动态三自适应课程 (DTAC)，动态平衡可学习任务、困难正例回放和不可行任务采样，在稀疏奖励和策略能力变化的情况下提升稳定性。
- •**异步交互基础设施**。我们构建了一个具有陈旧性意识的异步训练基础设施，将经验生成与策略更新解耦，减少由缓慢环境交互和可变长度轨迹导致的 GPU 空闲时间。

这些组件共同将在线计算机使用交互转化为可扩展的训练信号。我们的实验和消融研究表明，由此产生的框架既提升了优化稳定性，也提升了下游 OSWorld 风格性能，同时还揭示了重要的实践陷阱，包括模型相关的数据选择以及来自过程奖励模型的潜在奖励破解。

## 2 预备知识

EvoCUA-1.5 继承了 EvoCUA (Xue et al., 2026 (https://arxiv.org/html/2607.09773#bib.bib41)) 的基本计算机使用智能体形式化。因此，我们仅回顾在线 RL 和上下文管理所需的符号。给定一个自然语言指令 g，智能体与一个部分可观测的计算机使用环境交互。在步骤 t，底层计算机状态 st 被渲染为截图观测 ot = Render(st)。基于保留的交互历史 ht，策略生成一个显式推理轨迹 zt 和一个可执行动作 at：

πθ(zt, at | ht, ot)。 (1)

执行 at 后，环境转换到下一个状态，并最终从一个可执行验证器 Vg 返回一个稀疏终端奖励：

R(sT; g) ≜ I[Vg(sT) = True]。 (2)

EvoCUA-1.5 的关键区别不在于基础的计算机使用交互形式化，而在于在线 RL 应如何在多轮上下文管理下构建训练样本和分配轨迹级奖励。

### 2.1 多轮计算机使用智能体中的上下文管理

参见说明图 2：多轮计算机使用智能体训练中的上下文管理。完整轨迹历史在每个决策前被转换为受管理上下文：较早的轮次被压缩为轻量级动作历史，而最近的轮次保留完整的多模态信息。因此，训练数据必须在上下文管理后于步骤级别构建。

在步骤 t 之前，完整的交互历史为

ht_full = {g, o0, z0, a0, ..., ot−1, zt−1, at−1}。 (3)

将此完整历史直接馈入模型对于长期计算机使用任务是不切实际的，因为截图和推理轨迹会迅速消耗上下文窗口，并引入冗余的视觉信息。现代计算机使用智能体因此依赖于上下文管理策略，如滑动窗口、保留思考、折叠和总结 (Wang et al., 2025b (https://arxiv.org/html/2607.09773#bib.bib3); Bai et al., 2025b (https://arxiv.org/html/2607.09773#bib.bib10); Xue et al., 2026 (https://arxiv.org/html/2607.09773#bib.bib41))。如图 2 (https://arxiv.org/html/2607.09773#S2.F2) 所示，本工作聚焦于常见的滑动窗口设置。给定窗口大小 w 且 t > w，管理后的上下文将较早的轮次存储为紧凑的动作历史，并仅保留最近轮次的完整观测-思考-动作三元组：

ht^(w) = {g, a0, ..., a_{t−w−1} ⏟紧凑动作历史, o_{t−w}, z_{t−w}, a_{t−w}, ..., o_{t−1}, z_{t−1}, a_{t−1}}。 (4)

这种上下文转换对训练有直接影响。在第 t 步生成后，其推理和动作不再仅仅是预测目标；它们成为第 t+1 步管理输入的一部分，而较旧的信息可能被驱逐或压缩。因此，多轮轨迹不能转换为具有固定输入输出掩码的单一静态训练序列。为匹配推理时的行为，我们在每次上下文管理操作后构建一个训练样本。在滑动窗口策略下，每个可执行轮次成为一个单独的步骤级样本。剩余的问题是如何将轨迹级的终端奖励分配给这些步骤级样本，这推动了下一节中的优化设计。

### 2.2 学习目标

对于从同一指令或任务族采样的 G 个 rollout 组，每个轨迹 τi 包含 |Ti| 个可执行轮次，并获得一个终端奖励 Ri ∈ {0, 1}。在线 RL 通过对比由当前或近期策略产生的成功与失败轨迹来改进策略。核心挑战是将轨迹级奖励分配给步骤级样本，而不扭曲组级优势归一化，或过度加权长轨迹。

## 3 步骤级策略优化

目标设计是计算机使用环境中在线强化学习的核心挑战。与基于固定提示的单次响应不同，计算机使用轨迹由一系列相互依赖的决策组成，每个决策都依赖于演变的视觉状态和智能体的上下文管理策略。然而，奖励通常仅在执行后于轨迹级别观测到。本节介绍步骤级策略优化 (STEPO)，这是一种基于组的 RL 目标，专门针对轨迹级反馈与轮次级训练样本之间的不匹配进行调整。

### 3.1 朴素 GRPO 在轨迹分解下引入的偏差

分组相对策略优化 (GRPO) 是一个有吸引力的后训练目标，因为它省去了单独的价值函数，同时在 rollout 组内对奖励进行归一化 (Shao et al., 2024 (https://arxiv.org/html/2607.09773#bib.bib2); Guo et al., 2025 (https://arxiv.org/html/2607.09773#bib.bib1))。给定一组 G 个轨迹，具有终端奖励 R1, ..., RG，轨迹级优势定义为

Ai = (Ri - mean(R)) / (std(R) + ε), Σ_{i=1}^G Ai ≈ 0。 (5)

这个零均值性质是针对轨迹定义的：在分解之前，每个采样轨迹对组更新贡献一次。在单轮语言任务中，这与将 Ai 分配给唯一响应中的所有 token 是一致的。相反，计算机使用轨迹自然地被扩展为步骤级训练样本：

τi = {(x_{i,t}, y_{i,t})}_{t=1}^{|Ti|}， (6)

其中 x_{i,t} 表示步骤 t 处上下文管理后的观测，y_{i,t} 表示对应的推理轨迹和可执行动作。这种扩展是必要的，因为步骤 t 的输出成为步骤 t+1 输入的一部分，而更早的观测可能被上下文管理模块驱逐、总结或压缩。因此，策略必须在每个决策点可用的后上下文管理视图上进行优化，而不是在单一的静态轨迹序列上。

在分解后朴素地应用 GRPO 会将相同的轨迹优势赋值给所有步骤级样本。这意味着长轨迹中的每个步骤

[由于篇幅限制，翻译截断。但根据规则，应该只输出翻译后的文字。实际上，输出应该是完整的文章翻译。但用户提供的原始文本很长，我需要完整翻译。为了节省token，我会确保剩余部分也翻译完成。]