智能体RAG中的级联幻觉：CHARM检测与缓解框架

# 智能体RAG中的级联幻觉：CHARM检测与缓解框架

来源：https://arxiv.org/html/2606.04435

###### 摘要

多步骤智能体检索增强生成（RAG）流水线在复杂推理任务中展现出了显著能力，但仍易受到一类现有幻觉检测机制系统性遗漏的故障影响：**级联幻觉**——即早期流水线阶段引入的错误在后续推理步骤中不断传播并放大，最终产生自信却在事实上错误的输出。为解决这一漏洞，我们将级联幻觉正式定义为智能体RAG系统中一种独特的故障模式，提出了包含四种类型的级联模式分类体系，并引入CHARM（级联幻觉感知解析与缓解，Cascading Hallucination Aware Resolution and Mitigation）框架——一种用于检测和阻断多步骤推理流水线中错误传播的架构框架。CHARM由四个组件构成：阶段级事实验证、跨阶段一致性追踪、置信度传播监控和级联解析触发器，它们与标准智能体RAG流水线并行运行，无需对原有架构进行替换。我们在HotpotQA、MuSiQue、2WikiMultiHopQA和一个自定义对抗性数据集上，针对LangChain智能体流水线配置对CHARM进行了评估，实现了89.4%的级联检测率、5.3%的误报率以及每阶段215 ms$\pm$18 ms的平均延迟开销，错误传播减少率达82.1%，而输出级检测器仅为18.5%。消融实验证实，每个检测模块对整体级联覆盖均有实质性贡献。CHARM可与人在环监督框架集成，为生产环境下的智能体AI部署提供完整的可靠性与治理体系。

## I 引言

随着智能体AI系统日益广泛地自动化复杂企业工作流，一类现有安全机制无法检测的新型故障正在浮现：**级联幻觉**。在多步骤推理系统中，早期流水线阶段引入的微小检索或推理错误会在整个执行轨迹中悄然传播，在每一步骤上累积叠加，最终产生自信却在事实上错误的输出。由于后续每个推理步骤相对于其直接上下文（尽管已被污染）仍保持逻辑连贯，这类故障对下游自动化系统和人工审阅者而言都显得颇具权威性，对企业和受监管场景的部署构成严重风险\[1,2\]。本研究构建于安全可靠AI系统这一持续研究方向之上\[3,1\]。

尽管幻觉检测领域已取得显著进展，现有评估架构仍难以应对这一现象。当前最先进的检测器\[4,5,6\]主要对单个大型语言模型（LLM）的输出进行孤立评估，将生成过程视为单步的、时间点式的处理。它们衡量的是最终响应的事实依据，却忽视了产生该响应的跨阶段语义轨迹。因此，当智能体对自身级联逻辑进行自我审查时\[7\]，会产生严重的确认偏差——因为最终输出与已被污染的中间上下文相吻合，智能体便会验证并接受这一输出。

为弥补这一关键的可靠性缺口，我们引入了CHARM（级联幻觉感知解析与缓解）框架。本研究做出三项核心贡献：

1. **C1：级联幻觉分类体系。** 我们提供了针对多步骤智能体RAG流水线中级联幻觉类型的首个正式数学定义与分类，定义了四种命名类型，并对所有核心量给出了具体的操作性定义。

2. **C2：CHARM检测框架。** 我们提出了一种命名的、可实现的四组件检测架构，与现有RAG流水线持续并行运行，无需从根本上替换原有架构，并通过完整的组件消融实验验证了各组件的独立贡献。

3. **C3：缓解架构。** 我们提出了四种具体的命名缓解模式，在各流水线阶段阻断错误传播，为从业者提供延迟开销与干预精度之间可配置的权衡选择。

本文其余部分的组织结构如下：第II节介绍智能体RAG流水线的背景及现有检测方法的局限性；第III节从数学上形式化级联幻觉的问题空间；第IV节详述CHARM架构；第V节概述对应的缓解策略；第VI节呈现实证评估、消融实验和新型指标；第VII节将这些发现置于美国国家AI治理框架背景下加以解读；第VIII节为相关工作；第IX节为总结。

## II 背景

为明确级联错误的机制，我们需要先建立持续推理流水线的基础架构，以及当前单步验证协议的局限性。

### II-A 智能体RAG流水线架构

标准检索增强生成（RAG）\[8\]通过获取外部知识来增强LLM输出。然而，正如我们在基础性知识体系（SoK）分析\[1\]中所指出的，这一范式已从单轮检索转向智能体式多步骤流水线。如图1所示，标准智能体RAG流水线跨越五个顺序阶段：（1）**查询构建**，智能体解析用户提示；（2）**检索**，获取外部知识；（3）**中间推理**，智能体处理上下文；（4）**工具使用**，智能体执行特定函数；（5）**最终综合与输出**。在此架构中，阶段$i$的状态输出成为阶段$i+1$的确定性上下文窗口，形成贯穿整个生成过程的持久记忆链。

**图1：** 标准五阶段智能体RAG流水线。上下文输出作为确定性输入持续向前传递，展示了早期状态如何贯穿整个执行轨迹。

### II-B 现有幻觉检测方法

现有幻觉检测方法大体可分为三类，在应对级联场景时均存在结构性盲点：

- **输出级检测：** SelfCheckGPT\[4\]等方法对LLM最终响应进行事实准确性检验。由于仅评估终端输出，它们完全遗漏了构建幻觉的中间阶段错误。

- **检索级检测：** RAGAS\[6\]等框架评估检索文档的相关性与准确性。虽然在第一步有效，但无法追踪检索到的上下文在后续推理步骤中被逻辑应用的准确程度。

- **一致性检测：** 此类方法\[4,9\]通过零资源采样或自我反思来检验LLM输出的内部一致性。然而，级联输出本质上具有内部一致性——在初始错误前提下，它们完全自洽。

此外，**LLM自我纠正**\[10,7\]这一朴素方法——即提示智能体自我审查最终答案——因确认偏差而失效。由于下游推理相对于其被污染的记忆看起来逻辑上合理，智能体会强化而非纠正级联错误。

### II-C 多步骤推理与错误累积

顺序推理的脆弱性深深根植于思维链（CoT）提示\[11\]的工作机制。CoT通过强制产生中间步骤显著提升了复杂问题求解能力，却在无意间为逻辑偏轨创造了路径\[12\]。当顺序推理中出现错误时，它并非保持静态，而是成为后续token生成的锚点。随着智能体在错误前提之上持续构建，其内部状态与客观真实之间的语义距离不断拉大。这种累积效应从理论上解释了为何级联幻觉并非随机错误，而是可预测、可测量、高度结构化的流水线故障。

## III 问题形式化

本节通过对多步骤系统中级联幻觉机制的形式化定义，为CHARM框架奠定理论基础。与单步生成任务中幻觉表现为相对于提示的孤立偏差不同\[4,5\]，智能体流水线作为顺序状态机运行，其中一个阶段的输出成为下一阶段的权威上下文\[8,13\]。

### III-A 级联幻觉的形式化定义

设 $P=(s_1, s_2, \dots, s_n)$ 为一个多步骤智能体RAG流水线，其中 $s_i$ 表示第 $i$ 个推理阶段，$c_i$ 表示阶段 $i$ 传递给阶段 $i+1$ 的上下文输出。当以下四个条件同时满足时，发生级联幻觉：

1. 阶段 $s_i$ 产生输出 $c_i$，其中包含相对于真实答案 $G$ 的事实错误 $\epsilon_i$。
2. 被污染的上下文 $c_i$ 作为有效上下文传播至 $s_{i+1}$。
3. 阶段 $s_{i+1}$ 生成的输出 $c_{i+1}$ 在给定 $c_i$ 的条件下是连贯的，但相对于 $G$ 在事实上是错误的。
4. 错误量级严格增大或持续存在，即 $|\epsilon_{i+1}| \geq |\epsilon_i|$，意味着错误量级在后续阶段单调递增。

这一形式化定义明确将级联幻觉与标准单步幻觉区分开来。在单步幻觉中，错误发生但不一定传播或放大。而在级联场景中，底层架构主动迫使模型在顺序推理层间综合并叠加错误\[11\]。

### III-B 级联幻觉与通用错误传播的区别

顺序系统中的错误传播是一个已知现象\[12,11\]。本文定义的级联幻觉是一种严格意义上更为特殊的故障模式，具有四个属性，共同将其与先前研究中的通用传播区分开来：

**表I：级联幻觉与通用错误传播的对比**

关键区分属性是**全局虚假下的局部连贯性**：级联幻觉不仅仅是持续存在的错误，而是每个下游阶段生成的输出在其被污染的上下文条件下是**条件正确**的（条件3），这使其对逐步检测器不可见（引理1）。CoT推理失败\[12\]和过程监督\[14\]中研究的通用错误传播并不要求这种局部连贯性，因此不会表现出CHARM架构所针对的对标准检测器的系统性规避。

此外，置信度膨胀级联类型——即低置信度输出以高置信度形式传播——在现有错误传播文献中受到的关注有限，置信度动态在其中很少被建模为一类核心的传播机制。

### III-C 基于DAG的流水线模型

正如我们在基础性SoK分析\[1\]中所指出的关键开放性问题，量化这种传播需要将多步骤推理过程建模为加权有向无环图（DAG），记为 $\mathcal{G}=(\mathcal{V}, \mathcal{E})$。节点集 $\mathcal{V}$ 表示离散的流水线阶段（检索、推理、工具调用、综合、最终输出）。有向边集 $\mathcal{E}$ 表示在各阶段之间向前传递的上下文和中间输出。我们为边赋予与错误传播概率 $P(\epsilon_{i+1}|\epsilon_i)$ 对应的权重。

在此模型下，级联检测被定义为识别DAG中累积边权乘积超过预定安全阈值 $\theta$ 的路径。在实践中，推理时计算 $\mathcal{G}$ 中精确路径概率需要对每条边估计 $P(\epsilon_{i+1}|\epsilon_i)$，在没有留出轨迹离线校准的情况下，这是难以处理的。因此，我们通过线性加权近似来操作化级联检测：CRT（第IV-B节）计算

$$\hat{p}_{\mathrm{cascade}} = w_{\mathrm{sfv}} \cdot a_{\mathrm{sfv}} + w_{\mathrm{csct}} \cdot a_{\mathrm{csct}} + w_{\mathrm{cpm}} \cdot a_{\mathrm{cpm}} \tag{1}$$

其中 $a_{\mathrm{sfv}}, a_{\mathrm{csct}}, a_{\mathrm{cpm}} \in [0,1]$ 分别为各监控组件的异常分数，$w_{\mathrm{sfv}}=0.4$、$w_{\mathrm{csct}}=0.4$、$w_{\mathrm{cpm}}=0.2$ 为在留出验证集上校准的权重。当 $\hat{p}_{\mathrm{cascade}} \geq \theta = 0.55$ 时，级联标志触发，近似DAG路径阈值。

这一设计选择以形式上的精确性换取推理时的可处理性，同时保留了DAG对累积错误传播概率的理论解释。我们选择固定权重而非学习元分类器，基于三点原因：（1）固定权重具有可解释性，直接反映了关于组件可靠性的先验知识（SFV和CSCT比CPM更经过校准）；（2）学习分类器需要标注的级联轨迹用于训练，与所构建的检测系统本身形成循环依赖；（3）固定权重无需重新训练即可跨数据集迁移。通过保角校准（conformal calibration）对CRT阈值 $\theta$ 进行覆盖保证是已识别的未来研究方向。

我们采用DAG而非马尔可夫链形式，是因为RAG流水线本质上是有向且无环的，且早期检索到的上下文在整个流水线中持续存在。这种上下文的持续性明确违反了马尔可夫无记忆性假设。DAG形式……