论文页面 - Harness-G：用于搜索智能体的图结构化 Harness

来源：https://huggingface.co/papers/2607.27652

摘要

强化学习（RL）搜索智能体通常将检索建模为自由形式的自然语言查询生成，并利用最终答案奖励来优化多轮交互。现有研究主要通过更密集或更具结构化的信用信号来改进训练，但很少审视检索在策略-环境接口层面上的形式化是否恰当。我们在 Search-R1 训练过程中观察到了显著的检索别名化现象：针对同一问题的 rollout 会持续生成不同的查询字符串，但它们的累积证据集却逐渐重叠。我们将这一现象称为“检索等价坍缩”；在此状态下，轨迹在检索决策方面趋近于效用等价，导致组内回报之间缺乏有效的检索对比度。为了解决这一问题，我们提出了 Harness-G，一种重新设计该接口的图结构化检索框架。它将自由形式的查询生成重构为有限动作选择：策略选择一个证据句子或实体，或者选择作答，而环境则负责构建选项菜单、跟踪检索状态，并验证和执行每个选择。该接口减少了语言别名化，使得同一状态下的备选动作可以直接比较。基于该接口，我们引入了结构化非近视信用（SNC），它使用冻结的答案评分器将所选动作与其备选动作进行比较，并将下游收益归因于那些使这些收益得以实现的早期动作。在六个问答基准上，Harness-G 在两种评估模型规模下均取得了最高平均 F1，分别比最强基线 Graph-R1 高出 1.5B 规模下的 10.74 个百分点和 3B 规模下的 3.98 个百分点。

查看 arXiv 页面 查看 PDF GitHub2 添加到收藏

在你的智能体中获取此论文：

hf papers read 2607\.27652

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2607.27652，即可从本页面链接到该模型。

引用此论文的数据集 0

没有数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.27652，即可从本页面链接到该数据集。

引用此论文的 Space 0

没有 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2607.27652，即可从本页面链接到该 Space。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到该收藏集。