LAPO：多轮搜索推理中自生成过程奖励的单轮剔除归因方法

# 多轮搜索推理中自生成过程奖励的留一回合归因  
来源: https://arxiv.org/html/2607.13501  

###### 摘要  
针对多轮搜索推理的强化学习通常依赖终端结果奖励，但这类奖励无法区分中间交互中哪些是有用的、冗余的或有害的。我们提出 **LAPO**，一种基于后向留一回合归因的自生成过程监督方法。对于每一轮搜索，LAPO将该轮及其检索观测替换为固定的 `[DELETE]` 占位符，然后度量当前策略对黄金答案的平均对数似然度的变化。这个*答案似然增益* 在保留所有下游交互的前提下估计该轮的贡献，使得早期证据能在完整的推理上下文里得到评估。LAPO 进一步应用符号一致性门控，仅保留方向与其原始归因分数一致的正则化过程优势。该方法不需要额外的奖励模型、教师模型、验证器或大模型作为裁判。在七个知识密集型问答数据集（使用本地检索）上，LAPO 的平均精确匹配得分为 0.326，比最强步骤奖励基线 IGPO 高出 0.053。消融实验表明，后向归因与符号一致性门控具有互补优势，证明了策略驱动的回溯归因能为多轮搜索智能体提供有效的过程监督。代码开源在: https://github.com/zhuq-111/LAPO-Leave-One-Turn-Attribution 。

## 1 引言  
大语言模型越来越多地需要与外部信息源交互来解决知识密集型问题，而非仅仅依赖参数化知识。在多轮搜索推理中，模型必须反复制定查询、检索信息、解读观测并在产生答案前整合证据。强化学习为此场景提供了一个自然的训练框架：它可以根据任务级目标优化完整的交互轨迹，而不需要为每一个中间动作提供人类示范 (Jin et al., 2025)。然而，搜索推理的长程特性带来了关键的信用分配问题：最终答案通常依赖于多个相互关联的搜索与推理决策，而成功和失败的轨迹都可能包含有用、冗余和有害的中间交互。当训练仅依赖最终答案的正确性时，一个轨迹内的所有动作通常都会根据同一结果被更新。因此，一条成功的轨迹可能错误地强化了无效的搜索，而一条失败的轨迹可能惩罚了一个检索到关键证据的回合，只是该证据在后续推理中没有被正确使用。终端奖励只能反映整个轨迹是否成功，却无法揭示每个中间交互对最终结果的具体归因。因此，多轮搜索推理需要更细粒度的过程级信用信号。

现有方法通常从奖励模型、教师模型、验证器或其他步骤级评估器获得过程监督 (Lightman et al., 2023; Wang et al., 2024; Fang et al., 2026; Uesato et al., 2022; Zhang et al., 2024)。虽然这些方法提供了更密集的反馈，但它们引入了额外的训练和推理成本，并使策略优化依赖于外部评估器的质量。而且，在另一个策略或数据分布上训练的评估器可能无法准确评估当前策略产生的中间行为。这引出一个自然问题：能否直接从当前策略产生的信号中构建过程级监督？

为此，我们提出 **LAPO**，一种基于后向留一回合归因的自生成过程奖励方法。给定一条完整轨迹，LAPO依次将每个符合条件的搜索回合及其检索观测替换为 `[DELETE]`，并度量当前策略对黄金答案的平均对数似然度的变化。我们将这个变化称为*答案似然增益*，并用它来估计每个搜索回合在完整推理过程中的归因。不同于相邻状态之间的局部置信度变化，LAPO在评估目标回合时保留了所有其余的下游交互，从而能够识别那些其价值只有在后续推理中才显现出来的早期证据。然而，原始答案似然增益可能带有噪声，且在不同采样轨迹之间尺度不一。LAPO 应用鲁棒缩放和组归一化，然后引入符号一致性门控，只保留归一化优势方向与其原始答案似然增益方向一致的过程信号。门控后的过程优势分配给相应搜索回合中策略生成的 token，并与 GRPO 使用的终端结果优势 (Shao et al., 2024) 相结合。最终答案回合仅受终端奖励监督。整个过程直接从当前策略推导出监督信号，不需要单独训练的过程奖励模型、教师模型、验证器或基于大模型的裁判。

我们的主要贡献如下：
- • 我们指出在多轮搜索推理中，结果奖励在轨迹内信用分配上的局限性：最终答案的正确性并不能反映每个中间搜索交互的具体归因。
- • 我们提出 LAPO，一种基于后向留一回合归因的自生成过程奖励方法。LAPO 通过度量当前策略对黄金答案似然的变化来估计回合级归因，无需依赖额外过程评估器。
- • 我们引入组相对符号一致性门控来过滤方向不可靠的归因信号，并在七个知识密集型问答数据集上评估 LAPO。

## 2 相关工作  
### 2.1 用于搜索增强推理的强化学习  
近期工作使用强化学习训练语言模型在推理过程中主动获取外部信息。与将检索视为固定预处理步骤的传统方法不同，这些方法允许模型决定何时搜索、如何表达查询以及如何整合检索到的证据。Search-R1 表明，基于结果奖励的强化学习可以在没有监督推理轨迹的情况下诱导多轮搜索行为 (Jin et al., 2025)。R1-Searcher 和 ReSearch 也使用任务级结果奖励来训练搜索和推理能力 (Song et al., 2025; Chen et al., 2025)。这一范式还扩展到网页导航、多模态搜索和检索增强推理，如 WebAgent-R1、MMSearch-R1 和 RAG-R1 (Wei et al., 2025b; Wu et al., 2026; Tan et al., 2026)。除了答案正确性，这些方法还可能合并辅助信号，例如格式奖励、工具使用约束、搜索成本或效率目标。这些研究表明，轨迹级强化学习可以诱导复杂的搜索行为。然而，轨迹级奖励主要反映完整交互是否成功，对于哪些中间查询、检索观测或推理回合对最终结果有贡献提供的信息有限。LAPO 保留终端任务监督，同时从完整轨迹中提取回合级归因信号，为此场景提供更细粒度的过程监督。

### 2.2 外部过程监督与在线策略蒸馏  
一类工作通过外部过程评估器引入更密集的监督。Let’s Verify Step by Step 使用人工步骤级标注训练过程奖励模型 (Lightman et al., 2023)。Math-Shepherd 通过基于连续性的自动验证减少对人标注的依赖 (Wang et al., 2024)。ReST-MCTS* 将过程奖励估计与树搜索相结合，训练模型预测中间状态最终导向正确答案的概率；CriticSearch 则使用冻结的回顾性评论器从完整轨迹和黄金答案中生成回合级奖励 (Zhang et al., 2024, 2026)。这些方法使用人工标注、自动验证、搜索导出的价值估计或外部评论器来评估中间推理。近期工作还使用强语言模型或结构化语义信息来监督当前策略生成的轨迹。基于规则的在线策略蒸馏（ROPD）从教师-学生差异中诱导提示特定规则，并用其评估在线策略的学生响应 (Fang et al., 2026)。OPID 从完整轨迹中提取回合级和步骤级技能，并为智能体强化学习构建技能条件化的蒸馏信号 (Yang et al., 2026)。外部引导的过程监督可以提供语义丰富的反馈，并能区分不同的推理或规划错误。然而，此类方法通常需要额外的教师调用、奖励模型、规则归纳、技能提取或验证程序，其可靠性依赖于外部评估器的能力和校准。相比之下，LAPO 既不生成语义评论或规则，也不提取可复用的技能。它仅使用当前策略对黄金答案的似然来估计每个搜索回合的条件归因。因此，LAPO 不需要单独学习的过程评估器；其过程信号仅依赖于终端任务监督和当前策略自身的概率估计。

### 2.3 策略导出的过程奖励与回合级信用分配  
与 LAPO 最相关的工作是从策略自身的预测或交互状态变化中构建中间奖励。IGPO 和 TIPS 都通过相邻状态间黄金答案似然的增量生成回合级奖励；TIPS 使用一个冻结且定期更新的策略副本来计算信息势函数 (Wang et al., 2026; Xie et al., 2026)。StepSearch 结合信息增益、冗余控制和 token 级过程监督，而 IG-Search 通过比较在检索到的文档和随机替换文档下的答案置信度来估计检索证据的贡献 (Zheng et al., 2025; Liang et al., 2026)。其他工作通过语义信息增益、奖励传播或回合级价值估计来衡量推理进展 (Hu et al., 2026; Feng et al., 2026; Wei et al., 2025a)。总体而言，在不依赖外部评论器的策略导出方法中，先前的工作主要通过相邻状态间的变化或局部反事实比较来估计推理进展。LAPO 则强调在完整轨迹上的回溯性留一回合归因。前向方法通常比较添加当前交互前后的相邻状态：\(s(y^{\star} \mid c_{\le t}) - s(y^{\star} \mid c_{<t})\)。而 LAPO 将目标回合完全替换为一个占位符，并度量其影响，同时保留所有后续交互。这可以捕捉到那些其贡献在后续推理步骤中才变得明显的回合，而前向方法可能会低估它们。

## 3 方法  
### 3.1 问题设定与概述  
我们考虑一个多轮搜索推理问题，其中策略 \(\pi_{\theta}\)（一个语言模型）与环境交互以完成最终答案。对于每个问题 \(x_i\)，轨迹 \(\tau_i\) 由一系列搜索回合和一个最终答案回合组成。记 \(u_{i,t}\) 为第 \(t\) 轮搜索的搜索动作 token 序列，\(o_{i,t}\) 为环境返回的相应检索观测，\(T_i\) 为搜索回合数，\(v_i\) 为策略生成的最终答案回合。我们用 \(\hat{a}_i\) 表示从 \(v_i\) 中提取的最终答案。我们将一个搜索动作及其对应的检索观测视为一次完整的搜索交互：\(e_{i,t} = (u_{i,t}, o_{i,t})\)。

一个*有效搜索回合* 是同时包含完整的策略生成搜索动作及其相应环境观测的搜索交互；最终答案回合不是有效搜索回合。令 \(a_i^{\star}\) 表示问题 \(x_i\) 的黄金答案。传统的结果奖励根据最终答案质量为整个轨迹提供统一训练信号。它无法区分不同搜索回合的具体归因，因此在重要的、冗余的或误导性的搜索行为上提供有限的细粒度信用分配。LAPO 通过后向留一回合归因来解决这一限制。它将单次搜索回合整体替换为 `[DELETE]`，测量当前策略对黄金答案的条件似然的变化，并用该变化构建回合级过程优势。经过鲁棒缩放、tanh 有界变换、组归一化和符号一致性门控后，该过程优势分配给对应搜索回合中策略生成的 token，并与 GRPO 优化中的原始轨迹级结果优势相结合。

### 3.2 后向留一回合归因  
#### 黄金答案似然  
令 \(c\) 表示策略生成最终答案之前的上下文。为测量当前策略对黄金答案的支持程度，我们在 \(c\) 后附加一个包含黄金答案的固定响应模板，并仅对模板中的黄金答案 token 进行打分。设 \(p\) 为打分模板中黄金答案 token 之前的固定 token 序列。记 \(a_i^{\star} = (a_{i,1}^{\star}, \ldots, a_{i,L_i}^{\star})\)，其中 \(L_i\) 为黄金答案的 token 数。当前策略对黄金答案的打分为：
\[
S_{\theta}(a_i^{\star} \mid c) = \frac{1}{L_i} \sum_{k=1}^{L_i} \log \pi_{\theta}(a_{i,k}^{\star} \mid c, p, a_{i,<k}^{\star})
\]

#### 留一回合归因  
对于每个有效搜索回合 \(t\)，我们构造一个反事实上下文 \(c_{-t}\)，其中该回合的搜索动作和检索观测整体被替换为 `[DELETE]` token，而轨迹的其他部分保持不变。定义该回合的答案似然增益为：
\[
\Delta_{i,t} = S_{\theta}(a_i^{\star} \mid c) - S_{\theta}(a_i^{\star} \mid c_{-t})
\]
当 \(\Delta_{i,t} > 0\) 时，将目标回合替换为占位符会降低黄金答案似然，表明在该上下文和策略下该回合具有正向归因。当 \(\Delta_{i,t} < 0\) 时，替换反而增加了黄金答案似然，表明该回合可能具有负向影响。\(\Delta_{i,t}\) 接近零表示该回合对黄金答案似然几乎没有影响。

与通过比较相邻前缀状态来测量即时变化的前向归因方法不同，LAPO 在评估目标回合时保留了所有下游搜索交互。这种后向留一回合设计使得即使在早期证据只有通过后续搜索和推理才变得有用时，也能在完整推理上下文中进行回溯性归因。在我们的实现中，我们将完整上下文和所有留一回合反事实上下文在 rollout batch 中展平为单个打分 batch，并对每个上下文附加相同的黄金答案打分模板。使用批处理。