Search-G1：通过基于表示的内部奖励实现有依据的搜索代理

arXiv:2608.07531v1 公告类型：新 摘要：搜索增强语言代理应仅在必要时检索外部信息，并基于检索到的证据给出答案。现有的外部奖励要么提供稀疏的结果监督，要么提供来自过程注释和LLM评判器的更丰富反馈。结果奖励易于扩展，但无法区分有依据的检索与冗余搜索；而更丰富的信号在训练时需要昂贵的注释或推理。基于策略侧信号（如熵、似然或信息增益）的内部奖励是分级且评估廉价的，但主要反映模型置信度而非证据依据。我们提出Search-G1，一种基于表示的内部奖励框架，通过两个干预校准的读出（readouts）衡量代理答案的操作性依据。提示状态读出（prompt-state readout）预测闭卷充分性，其补数定义了策略相对的检索必要性；答案承诺读出（answer-commit readout）根据答案阶段对证据删除的敏感性来估计证据依赖。两者共同作用，当检索被估计为必要且答案对证据敏感时，为正确的搜索轨迹提供额外奖励；当闭卷知识足够时，偏好正确的直接答案；并惩罚重复搜索。校准后，奖励评分在策略优化期间既不需要过程注释，也不需要LLM评判器推理。由于强化学习会改变策略表示，Search-G1定期在最新检查点的轨迹上重新拟合这两个读出，使奖励与策略共同演化。在多个基于搜索的问答基准和两种模型规模上的实验表明，Search-G1改善了依据-搜索成本的权衡，在任务准确率具有竞争力的同时产生更短的响应侧轨迹。代码可在 https://github.com/Rosy0912/Search-G1 获取。

# Search-G1：基于表示的内在奖励实现证据锚定的搜索智能体
Source: https://arxiv.org/html/2608.07531
Ruoxi Cheng1,2, Haoxuan Ma3, Hongyi Zhang4, Junming Zhang5, Ranjie Duan2, Qiaolin Xia2, Hao Wang2,†, Yu Lu2, Haibo Shi2, Xing