论文页面 - Harness Scaling：面向可泛化智能体强化学习的执行框架扩展

来源：https://huggingface.co/papers/2610.29458

摘要

Harness Scaling 通过在多样化的执行配置上进行训练，提升智能体强化学习的效果，从而增强对未见过的执行框架的泛化能力。

智能体执行框架（agent harness）已成为现代智能体系统的核心组件，决定了模型如何使用工具、管理上下文以及协调长程交互。这些框架能否发挥作用，取决于底层模型对其的利用效率，因此有必要通过执行框架直接进行强化学习（reinforcement learning）。然而，现有方法通常只在单一固定的执行框架上进行训练，容易导致模型过拟合于特定框架，在不同框架配置之间的迁移能力有限。为此，我们提出了 Harness Scaling（Harness Scaling），这是一种面向智能体强化学习（agentic RL）的新型扩展维度，将训练从单一执行框架扩展到多样化的执行配置。具体而言，我们构建了一个因子分解的执行框架空间，选取具有均衡因子覆盖的紧凑训练子集，并组织跨框架训练，在全局覆盖的基础上为同一任务引入受控变化。在多个基准、模型规模和强化学习算法上，Harness Scaling（Harness Scaling）均能持续提升对未见过的白盒配置的泛化能力。此外，通过结构化白盒变体训练的模型能够有效地迁移到未见过的外部黑盒执行框架，其表现优于仅在单一复杂黑盒框架上训练的模型。这些结果确立了执行框架多样性作为智能体强化学习（agentic RL）中一个有意义的扩展维度，并强调了这种多样性的组织方式对跨框架泛化的重要性。

查看 arXiv 页面（https://arxiv.org/abs/2610.29458）查看 PDF（https://arxiv.org/pdf/2610.29458）GitHub1（https://github.com/RUCAIBox/Harness-Scaling）添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.29458）

在你的智能体中获取此论文：

hf papers read 2610.29458

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.29458 以从此页面链接它。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.29458 以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.29458 以从此页面链接它。

收录此论文的合集 0

没有合集收录此论文

将此论文添加到合集以从此页面链接它。