论文页面 - Harness-1：基于状态外化框架的搜索代理强化学习

来源：https://huggingface.co/papers/2606.02373

https://huggingface.co/papers/2606.02373#%F0%9F%94%A5-introducing-harness-1-%F0%9F%94%A5🔥 介绍 Harness-1 🔥

Harness-1 是一个 20B 参数的开源搜索代理，采用状态外化框架进行训练，在多项困难的检索任务上匹配甚至超越了多个规模大得多的前沿模型搜索器。

Harness-1 性能表现

https://huggingface.co/papers/2606.02373#motivation动机

许多搜索代理基于不断增长的对话记录进行训练。因此，模型在搜索的同时还需要进行大量隐式记录工作：

• 记住候选文档，
• 追踪有用证据，
• 维护验证状态，
• 回忆搜索历史，
• 避免重复查看已看过的内容。

这使得模型不仅要负责搜索决策，还要在上下文中管理整个搜索状态。

https://huggingface.co/papers/2606.02373#key-idea核心思想

Harness-1 将这些职责分离开来。

策略仍然负责语义层面的决策：

• 搜索什么，
• 检查什么，
• 整理什么，
• 验证什么，
• 以及何时停止。

而框架则围绕这些决策维护可恢复的搜索状态，包括候选池、整理后的证据、证据链接、验证记录以及预算感知的上下文渲染。

通过这种设置，强化学习无需教模型从头管理非结构化的对话记录，而是训练模型在一个结构化的搜索工作空间中进行操作。

https://huggingface.co/papers/2606.02373#results结果

在 8 个困难的检索基准上，Harness-1 平均精选召回率达到 0.730，比次强的开源搜索子代理高出 +11.4 个百分点，同时与规模更大的前沿模型搜索器保持竞争力。

对我们来说最有趣的结果是迁移能力：在留出的迁移基准上的提升幅度明显大于源家族基准。消融实验还表明，移除框架机制会改变代理行为并损害召回率。

https://huggingface.co/papers/2606.02373#takeaway要点

对于搜索代理而言，模型并非整个学习系统的全部。

框架——内存布局、动作空间、整理接口、验证记录和上下文渲染——都是强化学习学着去使用的一部分。