@YaoWenlin: 介绍 Orchard —— 一个开源的代理建模框架！一个轻量且廉价的沙箱基础设施支持训练方案……

Introducing Orchard — 一个开源智能体建模框架！一套轻量且低成本的沙箱基础设施，为 SWE / GUI / 个人助手智能体提供训练方案：Orchard Env: 0.28s 执行延迟；1000 个并行沙箱下成功率 100% Orchard-SWE: SWE-bench Verified 上 67.5%（30B-A3B，约 3B 激活参数） Orchard-GUI: WebVoyager / Online-Mind2Web / DeepShop 平均 68.4%（4B！） Orchard-Claw: Claw-Eval 上 pass@3 达 73.9% https://arxiv.org/abs/2605.15040 代码和数据即将发布！让我们加速开放智能体 AI！ — # Orchard: 一个开源智能体建模框架 来源：https://arxiv.org/html/2605.15040 Baolin Peng†\dagger1 🖂,Wenlin Yao†\dagger1,Qianhui Wu†\dagger1,Hao Cheng†\dagger1 Xiao Yu‡\ddagger2,Rui Yang‡\ddagger3,Tao Ge1,Alessandro Sordoni1,Xingdi Yuan1,Yelong Shen1 Pengcheng He1,Tong Zhang3,Zhou Yu2,Jianfeng Gao1 🖂 1微软研究院2哥伦比亚大学3UIUC {baolinpeng,jfgao}@microsoft.com GitHub (https://github.com/microsoft/Orchard)Hugging Face (https://huggingface.co/datasets/microsoft/Orchard) ###### 摘要 智能体建模旨在将大型语言模型 (LLM) 转化为能够通过规划、推理、工具使用以及与外部环境的多轮交互来解决复杂任务的自主智能体。尽管投入巨大，但该领域的开放研究仍受限于基础设施和训练方面的差距。许多高性能智能体系统依赖于专有代码库、模型或服务，而开源框架主要关注智能体编排和框架设计，而非通过可扩展的模型训练来提升 LLM 的智能体能力。我们提出 Orchard，一个用于可扩展智能体建模的开源框架。其核心是 Orchard Env，一个轻量级、Kubernetes 原生的环境服务，提供可重用的沙箱生命周期管理原语。Orchard Env 设计用于跨任务领域、智能体框架和流水线阶段（包括轨迹蒸馏、同策略强化学习 (RL) 的 rollout 以及评估）运行。在 Orchard Env 之上，我们构建了三个智能体建模方案。Orchard-SWE 面向软件工程智能体：我们从 MiniMax-M2.5 和 Qwen3.5-397B 中蒸馏出 107K 条轨迹，引入信用分配监督微调 (SFT) 从未解决轨迹的有效片段中学习，并应用平衡自适应 Rollout 进行稀疏奖励 RL。使用 Qwen3-30B-A3B-Thinking，Orchard-SWE 在 SFT 后于 SWE-bench Verified 上达到 64.3%，在 SFT+RL 后达到 67.5%，在同等规模的开源模型中创下新纪录。Orchard-GUI 训练了一个 4B 视觉语言计算机使用智能体，仅使用 0.4K 条蒸馏轨迹和 2.2K 个开放式训练任务。它在 WebVoyager、Online-Mind2Web 和 DeepShop 上分别达到 74.1%、67.0% 和 64.0% 的成功率（平均 68.4%），使其成为最强的开源模型，同时与 OpenAI 和 Google Gemini 的专有系统保持竞争力。Orchard-Claw 针对个人助手智能体，专为电子邮件、日历和日常工具使用等生产力工作流设计。仅使用 0.2K 个合成任务进行训练，它在 Claw-Eval 上达到 pass@3 59.6%，当与更强的 ZeroClaw 框架结合时，pass@3 提升至 73.9%。总体而言，这些结果表明，一个轻量、开放、与框架无关的环境层能够实现智能体数据、训练方案和评估协议在领域和框架间的重用。我们发布 Orchard (https://github.com/microsoft/Orchard) 以加速智能体建模研究并推动开源 AI 社区的创新。†††第一作者‡\ddagger第二作者## 1 引言 参见图注 参见图注 图 1:性能对比。左图:Orchard-SWE (30B) 在 SWE-bench Verified 上达到 67.5%，接近大 10–30 倍的 MoE 前沿系统。右图:Orchard-GUI (4B) 在 WebVoyager、Online-Mind2web 和 DeepShop 上平均成功率达 68.4%，使其成为最强的开源 GUI 智能体，同时与 OpenAI 和 Google 的专有系统保持一致。能够与外部环境进行多轮交互的大型语言模型 (LLM) 智能体已成为从软件工程 (Jimenez 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib23); Yang 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib29)) 和网页导航 (Zhou 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib11); Zhang 等人，2025 (https://arxiv.org/html/2605.15040#bib.bib12); Ning 等人，2025 (https://arxiv.org/html/2605.15040#bib.bib13)) 到通用计算机使用 (Xie 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib14); Hu 等人，2025 (https://arxiv.org/html/2605.15040#bib.bib15)) 等任务的核心范式。训练此类智能体——通过专家轨迹的监督微调或从环境奖励的强化学习——需要生成大量 rollout 轨迹，每个轨迹涉及与沙盒化执行环境的数十次顺序交互。随着智能体训练和评估扩展到新领域和更大数据集，对开放、可扩展、经济实惠且研究友好的基础设施的需求变得愈发迫切。例如，为软件工程任务生成单条轨迹可能需要克隆仓库、安装依赖、应用代码修改并运行测试套件——所有这些都在一个必须配置、管理和清理的隔离容器中执行。在规模化场景下，数千个这样的环境必须并发运行，每个环境具有不同的基础镜像、资源需求和网络隔离约束。我们将环境层确定为根本瓶颈。当其封闭或与特定训练栈紧密耦合时，其上所有层——训练方案、评估流水线、轨迹收集——都会继承这些约束，无法独立复现或重用。现有系统在环境管理的放置方面做出了不同选择，各有取舍。托管沙箱平台如 E2B (E2B, 2024 (https://arxiv.org/html/2605.15040#bib.bib16))、Daytona (Daytona, 2025 (https://arxiv.org/html/2605.15040#bib.bib17)) 和 Modal (Modal Labs, 2024 (https://arxiv.org/html/2605.15040#bib.bib18)) 提供便捷的托管运行时，但研究人员对基础设施配置、成本和可复现性的控制有限。垂直整合的训练栈如 ProRL Agent (Zhang 等人，2026a (https://arxiv.org/html/2605.15040#bib.bib19)) 和 MegaFlow (Zhang 等人，2026b (https://arxiv.org/html/2605.15040#bib.bib20)) 将环境管理作为更大 rollout 或训练系统的一部分，与推理调度、奖励计算和训练循环编排耦合。更广泛的环境框架如 ROCK (Wang et al., 2026 (https://arxiv.org/html/2605.15040#bib.bib21)) 提供丰富的平台功能，但未将环境层隔离为最小服务边界。因此，轨迹数据集、训练方案和评估流水线往往依赖于特定框架或基础设施实现，难以复现、比较或重用。我们认为，环境层应是一个轻量、独立的服务，可沿三个轴重用：跨 (i) 任务领域、(ii) 领域内的智能体框架以及 (iii) 流水线阶段，包括轨迹蒸馏、同策略 RL rollout 和评估。当边界清晰时，其上各层也变得可重用：数据可在一种框架下收集并在另一种下评估，SFT 和 RL 方案可共享同一执行后端，新领域可复用相同基础设施而非重建。参见图注图 2:Orchard 框架概览。Orchard Env (中心) 是一个轻量级、Kubernetes 原生的环境服务，暴露通用原语——沙箱生命周期、命令执行、文件 I/O、网络策略、REST API 和轻量级智能体注入——并支持异构任务环境 (底行)。开放式训练方案 (第二行) 与该服务组合而不与之耦合，我们在三个领域 (顶行) 实例化同一栈：Orchard-SWE (软件工程)、Orchard-GUI (浏览器导航) 和 Orchard-Claw (AI 个人助手)；每个领域盒内总结了各自的关键数字。因此，我们提出 Orchard (图 2 (https://arxiv.org/html/2605.15040#S1.F2))，一个以轻量、可重用环境层为中心的可扩展智能体建模开放框架。其核心组件 Orchard Env 是一个 Kubernetes 原生服务，暴露通用原语——沙箱生命周期管理、命令执行、文件 I/O、网络策略和 REST API——而不与任何智能体框架、训练器、推理后端或任务领域耦合。Orchard Env 通过两个关键选择实现扩展：运行时智能体注入，允许任意任务特定 Docker 镜像独立运行；以及将执行和文件请求直接路由到沙箱 Pod IP，避免 Kubernetes exec/WebSocket 开销。结合网络隔离、异步生命周期管理、心跳清理和基于 watch 的就绪跟踪，这些机制使 Orchard Env 具有良好的组合性和大规模环境交互的实用性。经验上，它实现了 0.28 秒的平均命令执行延迟，在 1000 沙箱压力测试中维持 100% 成功率，并显著降低了与其他替代方案相比的估计沙箱成本。在 Orchard Env 之上，我们开发了三个智能体建模 (SFT+RL) 方案，这些方案与环境服务组合而不紧密耦合。这些方案处理轨迹收集、数据整理、奖励计算和策略优化。我们使用从用于浏览器智能体的 Qwen3-VL-4B-Thinking 到用于软件工程和个人助手智能体的 Qwen3-30B-A3B-Thinking (约 3B 活跃参数) 等骨干网络进行实例化。跨三个领域，相同的环境抽象支持多样的模态、工具接口、智能体框架和奖励机制。##### Orchard-SWE。对于软件工程，Orchard-SWE 针对开放式 SWE 智能体训练的两个关键瓶颈：有限的监督和稀疏的奖励。我们整理了从 MiniMax-M2.5 和 Qwen3.5-397B 蒸馏得到的 107K 条轨迹，涵盖 SWE-rebench (Badertdinov 等人，2025 (https://arxiv.org/html/2605.15040#bib.bib31))、SWE-rebench V2 (Badertdinov 等人，2026 (https://arxiv.org/html/2605.15040#bib.bib32)) 和 Scale-SWE (Zhao 等人，2026 (https://arxiv.org/html/2605.15040#bib.bib33))，同时使用 OpenHands (Wang 等人，2025b (https://arxiv.org/html/2605.15040#bib.bib28)) 和 mini-swe-agent (Yang 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib29)) 框架。与大多数先前方案不同，我们不仅保留已解决的轨迹，还保留未解决的轨迹。我们引入信用分配 SFT，它使用追溯值估计从失败轨迹中提取有效上升片段，将部分进展转化为监督信号。我们进一步应用平衡自适应 Rollout (BAR)，一种在线 rollout 分配方法，自适应地组装奖励平衡的轨迹组以进行稀疏奖励 RL。使用 Qwen3-30B-A3B-Thinking，Orchard-SWE 在 mini-swe-agent 下于 SWE-bench Verified 上实现 SFT 后 64.3% 的解决率，SFT+RL 后 67.5%，在同等规模开源模型中创下新纪录，同时与大幅更大的模型保持竞争力。##### Orchard-GUI。对于基于浏览器的 GUI 智能体，Orchard-GUI 展示了相同环境服务和方案可迁移至纯文本计算机使用任务之外。我们使用通用 ReAct 风格 (Yao 等人，2023 (https://arxiv.org/html/2605.15040#bib.bib5)) 浏览器框架训练 4B 视觉语言骨干网络，并在 WebVoyager (He 等人，2024 (https://arxiv.org/html/2605.15040#bib.bib2))、Online-Mind2Web (Deng 等人，2023 (https://arxiv.org/html/2605.15040#bib.bib3)) 和 DeepShop (Lyu 等人，2025 (https://arxiv.org/html/2605.15040#bib.bib4)) 上评估。经过 SFT+RL 训练后，Orchard-GUI 在三个基准上分别达到 74.1%、67.0% 和 64.0% 的成功率，平均 68.4%，在长程基准（即 Online-Mind2Web 和 DeepShop）上提升最大。这是新的开源最优水平，同时与领先的专有计算机使用系统保持竞争力，尽管仅使用 4B 骨干网络和 2.6K 个训练任务。值得注意的是，Orchard-GUI 大幅优于先前的开源智能体及其 235B 教师模型，表明基于环境的 RL 可以改善模型的智能体能力，甚至超越教师。##### Orchard-Claw。对于个人助手智能体，Orchard-Claw 研究机器学习获得的智能体技能是否可跨不同框架迁移。我们从 Claw-Eval (Ye 等人，2026 (https://arxiv.org/html/2605.15040#bib.bib39)) 种子和 ClawHub (OpenClaw, 2026 (https://arxiv.org/html/2605.15040#bib.bib38)) 工作流合成训练任务，蒸馏成功的 MiniMax-M2.5 轨迹，在 Qwen3-30B-A3B-Thinking 上进行智能体训练 (SFT+RL)，并跨框架（包括 ReAct 风格框架和 ZeroClaw (ZeroClaw Labs, 2026 (https://arxiv.org/html/2605.15040#bib.bib42)) 框架）进行评估。Orchard-Claw 在 Claw-Eval 上达到 31.7% pass^3 和 59.6% pass@3，尽管仅使用 0.2K 个合成任务，但显著优于同等规模的开源基线。当在推理时与更强的 ZeroClaw 框架结合时，同一模型进一步提升至 41.0% pass^3 和 73.9% pass@3。总体而言，三个智能体建模方案的结果支持本研究的核心主张：环境层不仅仅是基础设施组件，而是支配智能体建模制品可重用性的基质。一个轻量、开放、与框架无关的环境服务使得轨迹数据、SFT 方案、RL rollout 和评估协议能够跨领域、智能体框架和流水线阶段进行转移。Orchard 证明了开源智能体建模可以以经济高效且可复现的方式进行扩展，而无需将环境与任何单一训练栈耦合。我们发布完整的 Orchard 框架——环境服务、训练方案以及涵盖软件工程、GUI 导航和个人助手工具使用的轨迹数据集——以促进可扩展智能体建模的开放研究。## 2 Orchard Env 跨领域和任务扩展智能体培训对环境层提出了特定要求。我们确定了作为研究社区实用基础的环境服务应满足的三个核心需求：1. 1. 轻量、独立服务边界。环境管理应隔离为一个狭窄的服务——与智能体框架、模型服务和训练编排解耦——以便任何训练器、智能体设计和任务领域的组合都可以与同一服务组合。2. 2. 低成本的镜像兼容性。该服务应以较低的适应成本支持异构任务环境和任意 Docker 镜像。3. 3. 可访问且大规模成本实际。该服务应可部署在任何标准云基础设施上，使得大规模智能体培训负担得起且易于采用。本节描述 Orchard Env 如何实现这些需求，展示其架构和关键设计选择，并将其与其他现有系统进行比较。更多细节可在附录 A (https://arxiv.org/html/2605.15040#A1) 中找到。### 2.1 架构概述 Orchard Env 遵循