故障传播之时：智能体检索增强生成中的因果故障归因

# 智能体检索增强生成中的因果故障归因
来源：https://arxiv.org/html/2608.20627
## 当故障传播时：智能体检索增强生成中的因果故障归因

###### 摘要

智能体检索增强生成（RAG）在多个跳步中交替进行检索、推理和答案生成。第一跳的检索错误可能直到第三跳才表现为错误答案，而后续的检索也可能修复执行轨迹。本文提出 AgenticRAG-FP，一个用于智能体 RAG 中因果故障归因的干预式基准。该基准在指定跳步注入经认证的故障，重新执行下游轨迹，并根据已知干预评估诊断器。其核心问题是：当后缀轨迹改变后，事后轨迹追踪是否仍能识别注入故障的跳步。在已完成的针对80个三跳 MuSiQue 问题的严格密集 Claude Haiku 4.5 实验中，基于覆盖度的诊断在第一跳准确率为0.91，在第二跳和第三跳均为0.00（失败轨迹数量 n=43, 36, 21）。一项规模较小的内容篡改研究在主题相关的证据中修改了答案关键事实或桥接事实在深度为2时，经过过滤后剩余18个失败案例，基于覆盖度的诊断为0.00，而冻结跳步的反事实探测为0.67（基于探索性汇总比较）。深度为3的内容结果仅为描述性，因其只包含三个失败案例。这些结果将传播深度作为评估智能体 RAG 故障诊断的一个明确维度，同时区分了广泛的事后信号损失证据与小样本方法比较。

## 1引言

检索增强生成（RAG）使生成过程依赖于检索到的证据，而不仅仅依赖于模型参数（参考文献5）。智能体 RAG 将这一过程扩展到多个决策点：语言模型选择子查询、观察证据，并决定是再次搜索还是回答，类似于 ReAct 风格的推理与行动（参考文献10）。这使得多跳问答成为可能，但也使得可见的端到端错误与其原因分离。

考虑一个三跳轨迹。如果第一跳的证据不相关，智能体可能在第二跳形成偏移的子查询，在错误前提下检索证据，并产生无依据的最终答案。仅检查最终轨迹的评估器可能会识别出后期的低覆盖度跳步，或将失败归因于答案生成，从而遗漏最早的因果故障。另一个智能体可能在后续跳步检索到补偿性证据并正确回答。标准的答案准确率、检索召回率和最终答案正确性混淆了注入故障、其传播及其恢复。

现有的诊断方法可以检查轨迹或尝试局部修复，但事后轨迹追踪无法提供经认证的根因标签。这留下了两个未解决的评估问题：诊断器能否在故障传播后恢复已知的干预跳步？以及反事实修复探测何时能提供最终轨迹中缺失的信息？回答任一问题都需要一个允许智能体响应并保留干预标签的干预。

AgenticRAG-FP 提供了这个环境。它在第 h 跳破坏轨迹前缀，使用相同的智能体运行剩余轨迹，并根据经认证的干预对诊断进行评分。本文核心关注传播如何改变用于精确跳步归因的可用信息。其三个贡献如下：

1. 1.一个支持结构性检索故障和经认证内容篡改的干预基准。后者在其他相关证据中修改已知的事实片段，并记录片段对，无需 LLM 判断即可确定性地标记吸收、抵抗和脱轨的结果。
2. 2.对事后信号的深度条件分析。在已完成的严格密集 MuSiQue 实验中，基于覆盖度的归因从第一跳的0.91降至第二跳和第三跳的0.00。这一模式关乎后缀重新执行后可用的信息，而非端到端任务准确率。
3. 3.对内容故障的反事实探测的有限比较。冻结局部修复和后缀再生就下游依赖性提出了不同的问题。报告的深度2内容结果说明了这一区别，而低计数的深度3结果仅作为描述性证据保留。

## 2相关工作

#### RAG 与主动检索。

RAG 将参数化生成器与非参数检索模块相结合（参考文献5）。主动和反思型变体在生成过程中决定何时检索（参考文献2；1）。这些方法旨在通过使检索响应不确定性或不断变化的生成过程来提高答案质量。同样的响应性导致了此处研究的归因问题：对早期检索的更改可能会改变智能体后续提出的问题，而不仅仅是改变一个固定的证据集。

#### 智能体 RAG 与诊断。

ReAct 风格的智能体将推理轨迹与外部行动交织在一起（参考文献10）。它们的轨迹可以被检查、定位和修复，但仅靠检查无法确定可疑跳步是否导致了最终答案。Doctor-RAG 使用覆盖度门控定位和前缀重用进行诊断和修复（参考文献3）；Doctor-RAG 将其覆盖度定位思想实例化为事后基线。本研究的评估目标不同：它询问诊断器能否在智能体生成新的后缀后恢复经认证的注入原因。这需要同时观察干预和由此产生的轨迹。

#### 多跳基准。

HotpotQA（参考文献5）和 MuSiQue（参考文献6）提供了带有支持事实的多跳问题。FRAMES（参考文献7）评估事实性、检索和推理，CRAG（参考文献8）包含动态、长尾和错误前提问题。这些数据集提供了问题和语料库基础，但其标准答案标签无法识别导致失败轨迹的跳步。本文的基准通过受控干预提供了缺失的因果标签。

#### 因果评估。

干预视角遵循因果评估（参考文献6）：故障及其跳步在观察到由此产生的轨迹之前设定。干预的对象不是模型参数或内部激活，而是检索智能体可用的轨迹级上下文。这种框架使恢复变得有益而非不便，因为干预后的正确答案是智能体未将故障传播到其输出中的证据。

## 3任务与轨迹模型

每个示例是一个问答对 (q, y*)，加上检索语料库 C。一个智能体产生轨迹

τ = (q, {(q_h, D_h)}_{h=1}^H, A, y, c),

其中 q_h 是在第 h 跳发出的子查询，D_h ⊆ C 是检索到的证据，A 是最终答案，y 是参考答案，c 是总标记成本。轨迹记录了每个决策点可用的信息，足以从观察到的前缀恢复执行。

#### 故障阶段。

每个跳步有一个阶段

s ∈ {retrieval, tool, answer, none}。

检索故障包括空或不相关的证据、查询偏移、错误前提证据、过时证据以及在其他相关文档中错误的事实。工具故障包括缺失行动和过早终止。答案故障包括空答案、错误答案以及未被检索证据支持的幻觉。*none*阶段表示该跳步未识别出故障。诊断记录包含预测阶段 s^hat，预测跳步 h^hat，传播标志，严重性估计和根因描述。

#### 可识别性。

当诊断器 d 在深度 h 处可靠地恢复 h^hat = h 时，即认为它在深度 h 处可识别。这是一个比检测最终答案是否错误或命名广泛的故障阶段更严格的属性。当注入的上下文改变了后续轨迹时，决定性的问题是最终轨迹是否仍然包含区分注入跳步与其下游后果的信息。

该基准将选定的故障类型、阶段和跳步视为经认证的标签。认证很重要，因为一个后期的低覆盖度跳步可能是原因、下游效应，或是早期干预的良性后果。如果没有已知干预，这些可能性在观测上是相似的。实际比较在执行前固定原因，然后在智能体有机会传播或修复该原因后评估诊断。

## 4干预式基准

#### 可恢复的实时干预。

给定一个已执行的跳步前缀，智能体在下一个跳步恢复，并继续生成子查询、检索证据以及决定何时回答。实时干预在第 h 跳替换证据或子查询，然后在第 h+1 跳恢复智能体。因此，下游后缀是智能体对被破坏上下文的响应，而非事后轨迹编辑。这种区分将干预的因果效应与静态编辑轨迹的行为分开，后者无法揭示智能体是否会传播或从故障中恢复。

对于每一次实时干预，评估保留预期的故障类别和选定的跳步作为目标标签。干预可以应用于检索证据、子查询或终止决策。结构性故障测试可见的检索异常在后缀改变后是否仍然可定位。内容故障测试更困难的情况，即文档看起来仍然相关，但其事实内容错误。因此，相同的轨迹模型支持易于观察的故障和语义隐藏的故障。

表1：AgenticRAG-FP 使用的干预。在每次实时干预中，下游后缀在选定跳步破坏后生成。
#### 干预语义。

空和不相关的检索移除答案支持或用离题证据替换它。查询偏移在检索前改变搜索意图。错误前提和过时证据干预保留检索到的材料，但引入特定的误导性声明。早期终止通过要求在可能发生后期检索之前回答来改变可用的轨迹。这些类别涵盖了缺失证据、误导性证据和改变的智能体决策。它们在事后检查中的可见度也不同，这使得它们成为测试诊断器是在识别局部症状还是在传播后识别干预的有用测试。

所有干预都保留选定跳步的目标，同时允许后缀改变。因此，干预后的答案错误不被假定是由编辑最终答案引起的。它是智能体对修改后的前缀反应的观测结果。这种构建还允许恢复的轨迹保留在评估中：恢复是关于智能体恢复能力的证据，而失败的轨迹是可以在其上定位根因的子集。

#### 经认证的内容篡改。

结构性干预替换整个文档或查询，因此在轨迹中可能可见。内容篡改则在保留主题相关性的同时，更改检索文档中的一个事实。这模拟了诸如过时事实、损坏文档或上游提取错误等错误，而不会使选定的检索明显离题。

更改的片段按优先级选择。当标准答案出现在检索证据中并可被经认证的错误值替换时，选择*答案事实*。否则，当一个*桥接实体*同时出现在当前跳步证据和后续子查询中，但不在原始问题中时，选择它。这识别了智能体向前携带的信息。当两个条件都不满足时，*显著实体*或数字提供备选。数字片段接受确定性扰动；实体片段接受与原始片段无标记重叠的领域内干扰项。

篡改按轨迹和跳步设置种子，因此选定的替换是可复现的。没有可认证片段的样本被跳过并计数，而不是接受未经验证的更改。记录的原始和篡改片段证明了干预的合法性，并使得确定性的答案级评估成为可能。它们还使得区分复制错误事实与产生另一个不相关错误成为可能。

#### 诊断器。

主要比较使用基于覆盖度的定位器（Doctor-RAG）、读取轨迹的 LLM 判断器（LLM-Judge）、冻结跳步的反事实修复（Propagation-Aware）和后缀再生修复（Suf-Regen）。冻结跳步探测修复一个候选跳步，固定所有其他跳步，并测试答案是否变得正确。后缀再生探测修复候选跳步，然后再生剩余轨迹。因此，两个主动探测仅在它们处理下游证据的方式上有所不同：一个保留观察到的后缀，另一个允许智能体在修复后的上下文中构建新的后缀。判断器可以检查语义轨迹内容，但产生额外的标记成本；覆盖度门控无需重新执行，但使用答案支持作为其信号。基于规则的诊断控制和更完整的与实现无关的描述见附录A。

## 5度量标准

#### 归因可识别性。

对于在后缀重新执行后仍然错误的注入轨迹，诊断器 d 的精确跳步准确率 Acc_d(h) 为

Acc_d(h) = 1/|F_h| Σ_{τ_i ∈ F_h} 1[ h^hat_{d,i} = h_i ],

其中 F_h 是深度 h 处失败的注入轨迹集合。恢复的轨迹被排除，因为不存在最终失败可供归因。准确率附带使用 B=1,000 次重采样的自举 95% 置信区间。失败轨迹少于10个的单元格，包括许多 CRAG 单元格，报告为描述性估计，而非用于比较结论。特别地，主要的内容故障比较排除了其深度3的方法排名，因为过滤后仅剩三个失败案例。

分母特意选择实时重新执行后仍然失败的轨迹集合。将恢复的轨迹计入错误诊断会混淆根因定位与故障是否到达答案这一单独问题。相反，仅报告答案准确率会丢弃经认证干预所携带的信息。这个条件度量使两种结果可见：恢复度量恢复能力，归因度量对实际传播的故障中的定位能力。

#### 超越精确跳步的定位。

当故障在跳步间因果纠缠时，精确跳步准确率是有意要求严格的。阶段准确率询问 s^hat = s 是否成立。跳步容差准确率接受...