LEGO-RL：编码代理的原生强化学习框架

# 原生强化学习驱动的编码智能体
来源：https://arxiv.org/html/2608.17393
Yiming Du<sup>1,2,∗</sup> Yuxin Jiang<sup>1,∗</sup> Tao Yuan<sup>1,∗</sup> Jianbo Dai<sup>1</sup> Shaowei Wang<sup>1</sup> Jierun Chen<sup>1</sup> Chaofan Tao<sup>1</sup> Xianzhi Yu<sup>1</sup> Lifeng Shang<sup>1</sup> Kam-Fai Wong<sup>2</sup> Xiaohui Li<sup>1,†</sup> Haoli Bai<sup>1,†</sup>

###### 摘要
编码智能体的强化学习日益依赖长时间运行的智能体框架来管理工具集成、代码仓库上下文及执行反馈。然而，这些框架的原生执行环境与策略梯度训练存在天然不匹配：环境崩溃与奖励黑客攻击会破坏结果信号，而训练-推理差异则会割裂轨迹行为与策略更新。为解决此问题，我们提出Lego-RL——一个无需修改内部控制流即可连接原生编码智能体框架与可扩展策略梯度优化的框架。Lego-RL基于三大支柱构建：
(1) **忠实优化**：通过进程内LLM代理捕获原始生成流，实现token级对齐及稳健的训练侧对数概率重计算，即使在框架侧进行压缩或重新序列化时也能保持有效；
(2) **可靠执行**：基于可扩展沙箱编排，结合镜像缓存与分层防御机制以缓解奖励黑客攻击；
(3) **可观测训练**：通过集成插件自动化验证与监控，并搭配实时界面实现细粒度轨迹诊断。
我们使用GSPO算法在三个原生编码智能体框架中训练稀疏MoE模型Qwen3.5-35B-A3B，对Lego-RL进行评估。Lego-RL使Qwen3.5-35B-A3B在SWE-bench Verified基准测试中的表现获得全面提升：OpenHands SDK提升至70.4%（原64.0%），Claude Code提升至68.2%（原62.4%），OpenCode提升至66.6%（原57.2%），同时保持轨迹-训练概率相关性高于0.99。

††脚注文本：∗共同第一作者。†通讯作者：{lixiaohui33,baihaoli}@huawei.com  
参见图例  
图1：Lego-RL训练基础设施概览

## 1 引言
通过强化学习训练编码智能体需要在软件仓库、工具和执行环境中优化长期行为（Wei et al. 2025；Golubev et al. 2025）。强化学习并非从孤立响应中学习，而是基于完整轨迹及其验证奖励更新策略。单次轨迹生成可能涉及重复的模型调用、仓库检查、工具调用、代码修改、依赖安装和测试执行，最终才会产生稀疏的可执行奖励（Jimenez et al. 2024；Pan et al. 2024）。由于这些轨迹由管理提示、工具、上下文和执行状态的原生智能体框架生成（Yang et al. 2024；Wang et al. 2025b），优化目标即为原始智能体控制流所诱导的策略行为。

将SWE-agent（Yang et al. 2024）、Claude Code（Anthropic 2025）、OpenHands SDK（Wang et al. 2025b）和OpenCode（SST 2025）等原生编码智能体框架集成到策略梯度训练中仍具挑战。框架侧的提示构建、上下文压缩和历史重写可能导致重建轨迹与轨迹生成时采样的精确token序列存在差异，阻碍训练侧的可信概率重计算（Xu et al. 2026）。稀疏混合专家模型在训练时无法复现轨迹生成时的专家路由，会引入额外的不匹配（Ma et al. 2025）。

在执行层，沙箱故障、依赖错误、验证器配置错误、超时和奖励黑客攻击可能丢弃昂贵的轨迹或破坏奖励信号，却在跨阶段传播故障且诊断信号分散于各工作节点的异步流水线中难以定位。通用强化学习框架通常要求编码智能体适配框架定义的轨迹接口（Sheng et al. 2025；Cao et al. 2025）；例如，基于OpenHands的智能体可能需要重写初始化过程、用任务专用工具替换默认工具集，并定制用于奖励提取的终止逻辑（Cao et al. 2025；Sutawika et al. 2026）。

原生框架方法保留现有智能体工作流（Yu et al. 2026），但可扩展执行、奖励完整性保护和轨迹级诊断仍待完善。我们提出Lego-RL，一个无需修改智能体工作流即可连接现有编码智能体框架与可扩展策略梯度优化的框架。该框架构建于verl（Sheng et al. 2025）和Harbor（The Harbor Team 2026）之上，围绕现有框架集成强化学习和沙箱执行，同时保留其模型API、工具接口、提示构建和上下文管理策略。支持新框架仅需一个轻量级适配器来启动智能体、连接推理服务并返回交互数据；其余训练流水线在各智能体间共享。

该框架围绕三大核心支柱构建：
- •**忠实优化**。进程内LLM代理捕获精确的轨迹token和生成元数据，即使框架侧存在历史重写，也能实现训练侧的可信对数概率重计算。对于混合专家模型，训练时会回放轨迹生成时的路由决策。
- •**可靠执行**。可扩展的沙箱编排、镜像缓存和分层防御机制保护奖励完整性，同时终止感知过滤与恢复机制防止故障轨迹干扰异步训练。
- •**可观测训练**。自动化运行验证、实时监控和轨迹级诊断可暴露跨智能体、环境、验证器和优化的各类故障。

我们在三个智能体框架上使用稀疏混合专家策略评估Lego-RL：OpenHands SDK、Claude Code和OpenCode。Lego-RL在SWE-bench Verified基准测试中取得显著解决率提升：OpenHands SDK从64.0%提升至70.4%，Claude Code从62.4%提升至68.2%，OpenCode从57.2%提升至66.6%，同时保持轨迹-训练概率相关性高于0.99。为促进可复现性，我们开源了完整框架、训练模型及数据集。

## 2 相关工作
表1：代表性智能体强化学习框架对比。✓：支持；△：部分/条件支持；–：未报告。R3：轨迹路由回放。可观测性指监控训练运行及诊断执行/轨迹级故障。

##### 智能体强化学习训练框架
早期LLM强化学习基础设施如verl（Sheng et al. 2025）将轨迹生成置于训练器管理流程内，由训练器直接控制模型生成和轨迹构建。近期框架可根据智能体轨迹实现位置分类：slime（THUDM 2025）、MOLT（NVIDIA NeMo 2026）、SkyRL（Cao et al. 2025）和AReaL（Fu et al. 2025）在强化学习框架内保留轨迹并提供可定制或异步智能体轨迹支持，但现有智能体需适配其交互与环境抽象。ALE协同设计ROLL训练器、ROCK沙箱管理器和iFlow CLI智能体，通过全栈控制实现一致性（Wang et al. 2025a）。相比之下，Polar、rLLM和OpenForgeRL保留现有智能体框架并在模型API层观察交互（Xu et al. 2026；Berkeley Sky Computing Lab 2026；Yu et al. 2026），而Agent Lightning使用SDK回调（Luo et al. 2025）。Lego-RL遵循模型API方法，并将其与策略梯度训练、沙箱执行和可执行验证集成。

表1在框架原生保真度、执行与奖励完整性、训练操作和SWE-bench留出评估等方面对比了现有强化学习训练框架。虽然部分能力已被多个现有框架支持，但Lego-RL将它们整合到单一的原生框架策略梯度训练框架中。

##### 编码智能体基准、框架与训练任务
SWE-bench引入了基于可执行验证的仓库级问题解决任务（Jimenez et al. 2024），后续扩展至更难的SWE-bench Pro（Deng et al. 2025）、多语言仓库的Multi-SWE-bench（Zan et al. 2025）以及持续更新任务的SWE-rebench（Badertdinov et al. 2025）。与单步LLM强化学习不同，这些任务需要在接收到稀疏验证奖励前进行多次交织的模型调用、工具操作和环境转换（Zhang et al. 2025；Xi et al. 2025）。因此框架设计是优化问题的一部分，因为仓库导航、编辑和执行接口直接影响智能体行为（Yang et al. 2024）。

先前SWE-RL工作要么省略可执行交互（Wei et al. 2025），要么在框架控制的智能体循环内训练（Agentica Team and Together AI 2025；Golubev et al. 2025）。现有任务集合通过不同构建流水线提供可执行环境，包括SWE-Gym、R2E-Gym、SWE-Smith、OpenSWE和SWE-Universe（Pan et al. 2024；Jain et al. 2025；Yang et al. 2025；Fu et al. 2026；Chen et al. 2026）。本研究不引入新集合，而是基于可扩展沙箱环境、可靠验证器和策略相对难度，研究智能体强化学习的任务选择。

## 3 Lego-RL框架
### 3.1 概述
Lego-RL包含嵌入更广泛闭环操作工作流的原生框架训练基础设施。我们首先形式化问题设置及其忠实性要求，然后在§3.2中描述训练基础设施，最后在§3.3中介绍闭环操作工作流。

#### 3.1.1 问题设置与目标
##### 原生框架轨迹
任务实例$x=(q_x, R_x, V_x)$（来自任务池$\mathcal{D}$）包含问题描述$q_x$、初始化的仓库环境$R_x$和任务特定的可执行验证器$V_x$。我们将原生编码智能体框架$\mathcal{H}$视为环境的一部分，仅优化其调用的策略$\pi_\theta$。在每轮$t=1,...,T$中，框架将当前交互与仓库状态$s_t$映射为上下文$c_t=\mathcal{H}(s_t)$，策略生成助手token序列$a_t \sim \pi_\theta(\cdot \mid c_t)$，框架执行请求的工具操作得到$s_{t+1}$。

轨迹$\tau$是模型API实际交换的提示-响应对序列：$\tau = \big((c_1, a_1), \dots, (c_T, a_T)\big)$，验证器分配单一终止二元奖励$r(x, \tau) = V_x(s_{T+1}) \in \{0,1\}$。仅对策略生成的token进行训练：令$\mathcal{M}(\tau)$表示策略生成响应token对应的token位置集合。轨迹对数似然为：
$\log \pi_\theta(\tau) = \sum_{(t,j) \in \mathcal{M}(\tau)} \log \pi_\theta(a_{t,j} \mid c_t, a_{t, <j})$

**任务索引行**：指向Harbor任务而非任务本身的指针。

图17：任务索引行示例。