论文页面 - 训练整个智能体，而不仅仅是模型

来源：https://huggingface.co/papers/2610.28069

摘要

HarnessAdapt-RL 通过机制级技能和不断演化的工具，联合训练编码策略并自适应其评估框架，相比固定框架的强化学习提升了基准测试通过率。

训练编码智能体通常在更新策略时保持评估框架不变。在训练过程中，轨迹会暴露出有缺陷的修复策略和交互问题，这些问题因任务而异，并随着策略学习而变化。我们提出了HarnessAdapt-RL (https://huggingface.co/papers?q=HarnessAdapt-RL)，在强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) 期间同时训练策略并自适应其评估框架。针对有缺陷的修复策略，一个冻结的教师模型会生成针对特定任务的机制级技能 (https://huggingface.co/papers?q=mechanism-level%20skills)。针对跨任务反复出现的交互问题，一个独立的教师模型会演化工具和钩子，只有当改进能提升观测到的通过率 (https://huggingface.co/papers?q=pass%20rate) 或观测到的可训练率 (https://huggingface.co/papers?q=trainable%20rate) 且不会降低二者时，才会保留该改动。策略在自适应后的框架下训练，其新生成的轨迹反过来指导进一步的自适应。使用一个 9B 基座模型，HarnessAdapt-RL (https://huggingface.co/papers?q=HarnessAdapt-RL) 在 SWE-bench (https://huggingface.co/papers?q=SWE-bench) Verified、Multilingual 和 Pro 上的 pass@1 分别比 GRPO (https://huggingface.co/papers?q=GRPO) 高出 9.8、12.6 和 6.4 个百分点，并且在评测时优于使用人工设计的 OpenHands 框架的 GRPO (https://huggingface.co/papers?q=GRPO)。机制级技能 (https://huggingface.co/papers?q=mechanism-level%20skills) 在评测时被移除后，其收益仍然持续存在。随着策略的改变，重新演化工具和钩子 (https://huggingface.co/papers?q=evolving%20tools%20and%20hooks) 优于在早期冻结版本。相反，部署时移除它们会带来最多 7.7 个百分点的损失。因此，训练产出的是一对模型-框架组合：训练好的策略以及演化后的工具和钩子，技能在部署时被移除。

查看 arXiv 页面 (https://arxiv.org/abs/2610.28069)查看 PDF (https://arxiv.org/pdf/2610.28069)GitHub1 (https://github.com/lingxiaotang/HarnessAdapt-RL)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.28069)

在你的智能体中获取此论文：

hf papers read 2610\.28069

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.28069，即可从此页面链接该模型。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.28069，即可从此页面链接该数据集。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.28069，即可从此页面链接该 Space。

包含此论文的合集 1