论文页面 - ClawGym II：探索代理工具链上的黑箱强化学习

来源：https://huggingface.co/papers/2608.16798 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

一个统一的黑箱强化学习框架，通过沙箱执行、轨迹重建和混合工具链训练，实现了对通用代理在复杂工具链中稳定且可扩展的优化。

代理工具链通过协调代理与环境的交互，显著提升了长期任务的性能。然而，通过复杂工具链进行强化学习（https://huggingface.co/papers?q=reinforcement%20learning）在很大程度上仍未被探索，因为将此类训练扩展到长期代理任务会带来根本性的挑战。在这项工作中，我们提出了一个统一的黑箱RL（https://huggingface.co/papers?q=black-box%20RL）框架，用于通过复杂工具链对通用代理进行稳定且可扩展的优化。具体而言，我们首先构建了一个基于沙箱的执行（https://huggingface.co/papers?q=sandbox-based%20execution）基础设施，将任务环境和工具链隔离在临时沙箱中，以实现大规模并发试验。然后，我们将策略优化与不透明的工具链执行解耦，并在模型边界放置一个服务代理（https://huggingface.co/papers?q=serving%20proxy）来捕获模型调用。为了重构多轮轨迹（https://huggingface.co/papers?q=multi-turn%20trajectories）并提高训练效率，我们将捕获的调用组织成前缀树（https://huggingface.co/papers?q=prefix%20trees），并进一步调整了基于评论器的PPO（https://huggingface.co/papers?q=PPO）和无需评论器的GRPO（https://huggingface.co/papers?q=GRPO）以优化恢复的树结构。同时，我们在整个优化过程中保持训练与推理的一致性。最后，我们引入了混合工具链训练（https://huggingface.co/papers?q=mix-harness%20training），允许单一模型通过异构工具链联合优化。使用Qwen3-30A3B，黑箱RL（https://huggingface.co/papers?q=black-box%20RL）分别通过OpenClaw和Claude Code在ClawGym-Bench上将Pass@1提升了9.98和14.81分，并在200-400个优化步骤中保持稳定。此外，该框架在更具挑战性的任务（如JobBench和OfficeQA）上也带来了持续的增益。总体而言，我们的框架实现了通过黑箱工具链对通用代理的有效、稳定且可扩展的优化，支持跨异构执行系统的统一训练（https://huggingface.co/papers?q=ppo）。

查看arXiv页面（https://arxiv.org/abs/2608.16798）查看PDF（https://arxiv.org/pdf/2608.16798）项目页面（https://github.com/ClawGym）GitHub33（https://github.com/ClawGym/ClawGym-Agents）添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2608.16798）

引用本文的模型0

无模型链接本文

在模型README.md中引用arxiv.org/abs/2608.16798，以从此页面链接它。

引用本文的数据集0

无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2608.16798，以从此页面链接它。

引用本文的空间0

无空间链接本文

在空间README.md中引用arxiv.org/abs/2608.16798，以从此页面链接它。

包含本文的收藏集0

无收藏集包含本文

将本文添加到收藏集（https://huggingface.co/new-collection），以从此页面链接它。