StepGap: 一种混合NLI-LLM检测器用于多跳问答中的步骤级证据缺口检测

# 一种用于多跳问答中层证据缺口检测的混合NLI-LLM检查器  
来源：https://arxiv.org/html/2605.24733  
Yuelyu Ji  
计算与信息学院  
匹兹堡大学  
[email protected]  
&Zhuochun Li  
计算与信息学院  
匹兹堡大学  
&Daqing He  
计算与信息学院  
匹兹堡大学  
[email protected]  

Yuelyu Ji¹, Zhuochun Li¹, Hui Ji¹, Daqing He¹  
¹计算与信息学院，匹兹堡大学  

###### 摘要  
我们提出**StepGap**，一种混合NLI-LLM决策树，用于检测多跳问答中的层证据缺口，并输出三种类型标签之一：**矛盾主张**（CC）、**无关证据**（IE）或**缺失桥梁**（MB），每个标签对应一个具体的修复操作。在82个多跳问题（181个标注步骤，κ=0.704）上，StepGap的sF1达到72.0，位于纯LLM基线（70.1）的bootstrap置信区间内，但具有更可分解的结构：移除StepGap的每个阶段都会**降低**F1，而移除四个LLM-only阶段中的三个会**提升**F1——这是**竞争性错误抵消**的迹象，即内部阶段相互掩盖对方的错误。我们进一步揭示了一个**Q-F1陷阱**：按问题级别的F1会被标记所有步骤的检查器机械地抬高，使得步骤级别的F1成为必要的诊断指标。作为类型化的GRPO过程奖励，StepGap在三个随机种子上将Qwen2.5-7B-Instruct的精确匹配率从32.1±0.3提升至35.4±0.9，单次运行比较显示平均EM比匹配的Search-R1 GRPO复现高出+5.6。  

StepGap：一种用于多跳问答中层证据缺口检测的混合NLI-LLM检查器  

Yuelyu Ji¹, Zhuochun Li¹, Hui Ji¹, Daqing He¹  
¹计算与信息学院，匹兹堡大学  
††代码、提示词和诊断数据可在以下地址获取：https://anonymous.4open.science/r/step-checker-0925/  

参见图注  
图1：StepGap在合成4步轨迹上的应用。端点EM仅能发现错误的最终答案；StepGap在每一步首次出现缺口的地方类型化定位出CC、IE和MB，每种缺口类型对应不同的修复操作。  

## 1 引言  
多跳问答（QA）需要跨多个中间步骤进行检索、连接和验证证据（Yang等，2018；Ho等，2020；Trivedi等，2022）。然而，在搜索交织框架中，评估和强化学习训练仍然以端点为导向：系统仅根据最终答案的精确匹配（EM）进行评分和奖励。仅靠端点信号存在两个结构性缺陷。*第一*，EM无法区分证据支撑链和偶然正确的链：策略可能通过绕过检索或从参数化记忆中填补缺失事实的捷径获得正确答案（Jin等，2025；Min等，2023）。*第二*，EM无法对错误答案进行定位：策略获得零奖励，且没有关于*哪个*步骤出错的信号，因此无法学习步骤特定的修复行为（Lightman等，2023；Lu等，2025）。我们将这种局部化的步骤级失败称为*证据缺口*，并区分三种缺口类型。**矛盾主张**（CC）发生在步骤的主张与检索到的证据相冲突时；**无关证据**（IE）发生在证据未涉及步骤所需的实体或关系时；**缺失桥梁**（MB）发生在证据相关但尚不足以蕴含步骤的主张时。虽然之前已有步骤级错误分类法的探索（Deshpande等；Lu等，2025），但我们提出的CC/IE/MB类型明确设计用于**修复操作耦合**：每个类型映射到一个具体的操作（撤回/重新搜索/桥梁搜索），RL策略可以被训练执行这些操作。图1展示了这一点：三种结构上不同的缺口类型可能级联成一个单一的、无区分的EM==0——矛盾的主张需要撤回，无关的证据需要重新搜索，缺失的桥梁需要额外的桥梁搜索。现有的步骤级检查器要么将所有子任务坍缩为一个LLM调用（Xiong等，2025b；Wang等，2024），要么依赖单一的NLI调用（Tang等，2024；Laurer等，2024），两者都无法同时输出类型化标签并将其基于确定性决策。事后和主张级验证器（Gao等，2023；Min等，2023；Ru等，2024）在完整答案生成后运行，根本提供不了训练时的信号。  

StepGap是一个五阶段混合决策树：三个LLM阶段处理开放式阅读子任务（对齐、弃权、实体一致性和引用提取），两个NLI阶段处理确定性蕴含（局部和跨步骤）。该树终止于一个类型化的缺口标签（CC/IE/MB），并附带一个具体的修复操作，类型化输出进入GRPO作为每步过程奖励，训练策略在缺口触发时执行规定的修复。  

#### 我们的贡献。我们提出三个主张。  
第一，类型化的步骤级缺口标签只有在与修复操作耦合时才有用：CC映射到撤回，IE映射到重新搜索，MB映射到桥梁搜索。第二，StepGap比纯LLM检查器更具可分解性。在181步人类基准上，StepGap的sF1达到72.0，位于LLM基线（70.1）的bootstrap置信区间内，但移除StepGap的每个组件都会降低F1。相反，移除四个LLM-only组件中的三个会提升F1，揭示了**竞争性错误抵消**。我们还揭示了一个**Q-F1陷阱**，展示了为什么问题级别的检测必须与步骤级别的F1和平衡准确率配对。第三，类型化信号可作为过程奖励。基于StepGap构建的Typed+Shape GRPO奖励在三个随机种子上将Qwen2.5-7B的EM从32.1±0.3提升至35.4±0.9，并将答案主张支持率提升至71.5%；蒸馏后的Qwen2.5-7B学生模型在无需API调用的情况下保留了教师模型F1的87%。  

参见图注  
图2：StepGap流水线。 (1) 生成器产生搜索交织轨迹；每个步骤 s_i = (c_i, q_i, e_i, a_i) 与累积证据 e_{≤i} 一同输入检查器。(2) 混合检查器遍历五个类型化阶段（LLM: A 对齐, B 弃权, C 实体+引用；NLI: D 局部蕴含, E 跨步骤验证）并输出 τ_i ∈ {no-gap, CC, IE, MB}。(3) τ_i 驱动类型化 GRPO 奖励 (r^{base} + r^{shape}, §5)，闭环返回生成器。CC = 矛盾主张；IE = 无关证据；MB = 缺失桥梁。  

## 2 相关工作  
#### 搜索交织推理。  
IRCoT（Trivedi等，2023）、ReAct（Yao等，2023）、Search-R1（Jin等，2025）和R1-Searcher（Song等，2025）使用最终答案EM奖励训练搜索策略，无法将失败归因于特定步骤；在错误答案上，仅EM奖励不提供关于哪个步骤出错的梯度。StepGap在rollout期间提供每步类型化信号，使生成器能够学习缺口特定的修复行为，而非统一的“避免错误”目标。  

#### 事后验证。  
RARR（Gao等，2023）、CRITIC（Gou等，2023）和Chain-of-Verification（Dhuliawala等，2023）在完整答案生成后应用验证，因此无法定位链中故障或提供训练时信号。StepGap在rollout过程中每一步内联调用，在链传播故障之前引导生成器。  

#### 主张级忠实度。  
FActScore（Min等，2023）、MiniCheck（Tang等，2024）、SelfCheckGPT（Manakul等，2023）、RAGAS（Es等，2023）和RAGChecker（Ru等，2024）评估生成输出是否由检索到的证据支持，但未捕捉推理链结构（例如，中间查询是否正确针对预期实体）；基于输出级忠实度训练的模型仍可能通过无根据的中间步骤到达正确答案。StepGap针对每个步骤评估其自身证据，捕捉故障首次发生的位置。  

#### 过程奖励与Agentic RAG。  
过程奖励模型（Lightman等，2023；Wang等，2024）提供步进标量监督，ReART（Sun等，2025）在此基础上增加了MCTS，RAG-Gym（Xiong等，2025b）和ProRAG使用LLM评判过程奖励。TRAIL（Deshpande等）引入了轨迹级类型化错误本体，Doctor-RAG（Lu等，2025）定位最早的失败步骤以进行事后修复。我们在三个维度上同时扩展这条线：*步粒度*、*NLI锚定的类型化标签*和*修复操作耦合*。这三者的结合对于类型化行为奖励是共同必要的，但此前尚未在一个系统中组合过。  

#### 混合验证器。  
NLI-LLM混合方法已在输出级事实性方面得到探索（Xiong等，2025a；Liu等，2025；Tang等，2024；Ji等，2025），但未用作过程奖励信号。评分最终答案和评分中间步骤在结构上不同；我们表明，即使是一个强大的纯LLM检查器，在逐步骤应用时也会坍缩为近乎均匀的IE标签（附录I），这推动了混合设计。据我们所知，先前的工作尚未同时证明：(i) 混合检查器在步骤级缺口检测上表现出比纯LLM变体更健康的消融曲线，以及 (ii) 此类检查器可作为搜索交织RL训练的类型化过程奖励。  

## 3 问题形式化  
#### 推理轨迹。  
我们将搜索交织的多跳QA轨迹建模为有序序列 T = {s_1, ..., s_n}。每个步骤 s_i 是一个元组 s_i = (c_i, q_i, e_i, a_i)，其中 c_i 是模型的中间推理文本（行动前产生的自然语言主张或子结论），q_i 是可选查询，e_i 是 q_i 检索到的证据，a_i 是可选块，用于发出最终答案 â。当 q_i ≠ ∅ 且 a_i = ∅ 时，我们称 s_i 为*推理步骤*（模型发出搜索并写下子主张）；当 a_i ≠ ∅ 时，称为*结论步骤*（模型提交最终答案）。检查器接收整个元组以及所有之前证据作为输入，因此其判断共同依赖于中间主张、搜索查询、检索到的片段以及答案（如果存在）。在本文中，**步骤**指推理轨迹的一个单位（s_i）；**阶段**指检查器决策树中的一个节点（阶段A–E，用字母索引以与 s_i 视觉区分）。一次检查器调用在一个推理步骤上最多遍历五个阶段。  

#### 步骤级证据缺口检测。  
步骤 s_i 是**无缺口**的，如果其主张——当 s_i 是推理步骤时为 c_i，当 s_i 是结论步骤时为 a_i——被累积证据 ⋃_{j≤i} e_j 逻辑蕴含。否则，该步骤存在**缺口**，用缺口类型 τ ∈ {CC, IE, MB} 表征。检查器 C 将每个 (s_i, e_{≤i}) 映射到结构化输出 (τ, confidence, rationale)。C 的五个阶段在第四节中描述。  

## 4 混合步骤级缺口检查器：决策树  
对于每个步骤 s_i = (c_i, q_i, e_i, a_i) 以及累积证据 e_{≤i}，检查器最多遍历五个阶段（图2，面板2）。每个阶段要么输出一个类型化缺口标签并停止，要么移交至下一阶段；如果没有阶段触发，则该步骤标记为无缺口。我们按遍历顺序（阶段A到阶段E）组织本节，使得树的结构从头到尾可见；表1总结了哪些阶段可以输出哪种缺口类型。在下文中，**步骤的主张**指当 s_i 为推理步骤时的 c_i，当 s_i 为结论步骤时的 a_i。搜索查询 q_i 仅在阶段A被咨询，且绝不作为NLI假设使用。  

表1：StepGap决策树的阶段、每个阶段可以输出的缺口类型以及该节点的NLI基础类型化信号。阶段D–E为NLI；阶段A–C为LLM。每种缺口类型映射到一个修复操作，在下游用作类型化奖励信号（§5）。  

#### 阶段A – 对齐。  
阶段A检查步骤的目标实体和关系是否正确，*在*检索被咨询之前。这很重要，因为一个错误定位的步骤无法通过检索补救——任何获取的文档构造上都无关，表面词汇重叠可能伪装成支持。我们将错误定位分为三种漂移模式——关系漂移（错误谓词）、实体漂移（错误主语）和范围漂移（子部分vs整体）——并在任何漂移发生时输出CC。  

#### 阶段B – 弃权有效性。  
阶段B处理声称“无法确定”的步骤，验证弃权是否基于证据。不合理的弃权功能上等同于矛盾主张：步骤承诺“答案未知”而证据排除了这一点。有根据的弃权退出到无缺口；错误的弃权输出CC。  

#### 阶段C – 实体一致性与引用。  
阶段C验证检索到的证据是否针对目标实体，如果是，则提取逐字支持引用。没有这个过滤器，与主张共享词汇令牌的离题文档会作为虚假前提传递给NLI。如果页面的标题和首句描述了不同的实体，阶段C直接输出IE；否则，检查器在同实体上找到5–20个词的逐字跨度，与主张相关。一个错误