ReliableRAG:通过可靠性引导推理链对抗检索增强生成中的虚假信息

arXiv cs.CL 论文

摘要

ReliableRAG 是一个可靠性驱动的框架,旨在通过评估细粒度信息三元组来对抗检索增强生成系统中的虚假信息,用于多跳问答,以确保准确且忠实的答案。

arXiv:2608.25487v1 公告类型:新 摘要:检索增强生成(RAG)通过整合外部信息到大型语言模型(LLMs)中,已成为问答(QA)的强大架构。然而,新闻和社交媒体中的虚假、不准确和误导性信息对实际的RAG系统构成了严重挑战,特别是在多跳问答中,即使检索到的文档中存在一个欺骗性虚假信息片段,也可能误导复杂的多步骤推理。现有方法主要依赖隐式对齐或显式调节,但其评估细粒度信息可靠性的能力有限,使其容易受到语义相关但事实错误的欺骗性虚假信息的影响,从而导致错误答案。为了解决这一局限性,我们提出了ReliableRAG,据我们所知,这是第一个通过细粒度评估单个三元组来缓解多跳问答中欺骗性虚假信息的可靠性驱动框架。ReliableRAG首先从源文档中提取信息片段,并将其表示为结构化三元组。然后,通过结合查询-三元组语义相关性和三元组可信度来量化三元组可靠性,仅保留前$K$个可靠且非冗余的三元组。基于这些精炼的三元组,ReliableRAG自回归地构建鲁棒的推理链,以巩固可信任的证据并过滤欺骗性虚假信息,产生忠实于可靠信息的准确答案。在三个多跳问答数据集上的实验表明,ReliableRAG优于现有方法,在欺骗性虚假信息注入下显著提高了RAG系统的事实可靠性和鲁棒性。
查看原文
查看缓存全文

缓存时间: 2026/08/27 09:21

# ReliableRAG:通过可靠性引导的推理链对抗检索增强生成中的错误信息  
来源:https://arxiv.org/html/2608.25487  
DOI:XXXXXXX\.XXXXXXX (https://doi.org/XXXXXXX.XXXXXXX)  
会议:;2026年11月10–14日;巴西里约热内卢  
CCS:计算方法学 自然语言处理  
CCS:信息系统 信息检索  

**作者:**  
金普江(注:同等贡献者)  
单位:吉林大学软件学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

玄武  
单位:吉林大学计算机科学与技术学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

文浩松  
单位:吉林大学软件学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

博扬  
单位:吉林大学符号计算与知识工程教育部重点实验室,计算机科学与技术学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

周游  
单位:吉林大学符号计算与知识工程教育部重点实验室,计算机科学与技术学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

何伟葛  
单位:大连理工大学计算机科学与技术学院,中国辽宁省大连市  
邮箱:[[email protected]](mailto:[email protected])  

何伟鹏·李  
单位:新加坡国立大学机械工程系,新加坡  
邮箱:[[email protected]](mailto:[email protected])  

梁彦春  
单位:珠海科技学院计算机学院,中国广东省珠海市  
邮箱:[[email protected]](mailto:[email protected])  

及  
吴崇国(注:通讯作者)  
单位:吉林大学符号计算与知识工程教育部重点实验室,计算机科学与技术学院,中国吉林省长春市  
邮箱:[[email protected]](mailto:[email protected])  

---

**摘要。**  
检索增强生成(RAG)已成为通过将外部信息整合到大语言模型(LLMs)中来解决问答(QA)任务的强大系统架构。然而,新闻和社交媒体中虚假、不准确及误导性信息的泛滥,对现实世界的RAG系统构成了挑战,尤其是在多跳问答中——复杂的、多步骤的推理过程极易受到被错误信息污染的源文档中哪怕单个欺骗性错误信息片段的影响。现有方法主要采用隐式对齐或显式调控范式来缓解此问题,但其无法感知细粒度的信息可靠性,使其极易受到与问题语义对齐但事实错误的细粒度欺骗性错误信息的误导,最终导致生成错误答案。为解决此局限,我们提出了ReliableRAG——据我们所知,首个通过评估细粒度个体三元组来防止欺骗性错误信息在多跳问答中产生误导效应的可靠性驱动框架。具体而言,ReliableRAG首先从源文档中提取信息片段,并将其表示为细粒度的结构化三元组。接着,它通过综合查询-三元组语义相关性和三元组可信度,进行细粒度的可靠性量化,确保仅保留最可靠的非冗余三元组。通过自回归地从这些精炼的三元组中构建鲁棒的推理链,该框架有效整合可信信息并过滤掉欺骗性错误信息,确保生成忠实于可靠信息的准确答案。在三个多跳问答数据集上的实验结果表明,ReliableRAG优于现有方法,在欺骗性错误信息注入下显著增强了RAG系统的事实可靠性和鲁棒性。  

**关键词:** 检索增强生成,多跳问答,错误信息鲁棒性,推理链  

## 1\.引言  
检索增强生成(RAG)作为问答(QA)任务的强大系统架构,通过整合外部信息(Lewis 等人, 2020;Shen 等人, 2025;Zhang 等人, 2025)来赋能大语言模型(LLMs)。为解决需要复杂、多步骤推理(Yang 等人, 2018;Ho 等人, 2020;Trivedi 等人, 2022)的多跳问答任务,该系统需要从庞大的网页语料库中检索与给定问题 \(Q\) 最相关的 \(K\) 篇文档,以聚合来自不同来源的补充信息。然后将这些文档置于问题之前,生成的拼接内容作为基于LLM的生成器的输入,以产生最终答案(Ramesh 等人, 2023)。然而,当检索到的文档包含恶意生成的欺骗性错误信息时,RAG的可靠性可能会严重受损,最终降低其整体性能(Pan 等人, 2023b;Pan 等人, 2023a;Garbacea 等人, 2019;Zellers 等人, 2019),尤其在多跳问答任务中。在这种情况下,即使少量欺骗性错误信息片段也可能在推理过程中传播,触发错误级联,破坏整个推理链并产生不正确的答案(Bhuiya 等人, 2024;Wu 等人, 2025;Huang 等人, 2025;Kazlaris 等人, 2025)。  

![参考标题](figure1)  
图1. 在错误信息干扰下,现有方法与ReliableRAG之间的差异示意图。绿色文本表示正确答案,而红色文本代表误导性错误答案。当面对语义相似的细粒度欺骗性错误信息时,隐式对齐和显式调控范式常常失效,从而导致错误答案;而ReliableRAG则能识别信息的细粒度可靠性,并构建鲁棒的推理链以防止欺骗性错误信息,确保答案准确。  

为提高RAG在多跳问答中面对错误信息的鲁棒性,近期研究主要采用两种范式,即隐式对齐和显式调控。具体而言,隐式对齐方法通过训练模型内化诸如自我反思信号、学习到的决策策略或可信度意识等标准来实现此目标,使其能够在生成过程中自主调节对检索信息的依赖,从而增强检索增强系统的事实准确性(Asai 等人, 2024;Pan 等人, 2024;Lin 等人, 2026)。然而,这些方法需要大量的计算资源和高质量的训练数据,而这些往往难以获取(Devine, 2025)。此外,专门的训练数据集与现实世界测试场景之间固有的领域差距限制了其泛化能力(Zeng 等人, 2026)。相比之下,显式调控方法利用外部信号(如文档可信度分数,即文档免受错误信息影响的程度)或知识图谱结构,显式地调控模型对检索信息的依赖,从而增强RAG系统的事实准确性和鲁棒性(Deng 等人, 2025;Liu 等人, 2026)。尽管取得了这些进展,当前的显式调控方法在感知细粒度信息可靠性方面存在关键缺陷。如图1所示,这些方法通常无法辨别高度相关但事实错误的细粒度欺骗性错误信息,导致被此类错误信息误导。这些错误信息随后传播并破坏整个推理链,最终产生不准确的答案(Bhuiya 等人, 2024;Zou 等人, 2025)。因此,在本研究中,我们探讨以下研究问题:我们能否为RAG系统配备细粒度的可靠性感知能力,以识别细粒度信息中的欺骗性错误信息,并从而防止其在多跳推理过程中的传播?  

为解决这一研究问题,我们提出了ReliableRAG——据我们所知,首个通过评估细粒度个体三元组来防止欺骗性错误信息在多跳问答中产生误导效应的可靠性驱动框架。该框架通过三个集成模块实现:三元组提取、三元组评估和链构建,它们在两个不同阶段运行。在离线阶段,三元组提取模块将每个源文档预处理为细粒度的结构化三元组表示。随后,使用基于LLM的评估器预评估这些三元组,并为每个三元组分配一个可解释的可信度分数(即三元组免受错误信息影响的程度)。这些步骤共同为后续的检索和推理提供了细粒度信息和预计算因子。  

在在线阶段,给定问题 \(Q\),三元组评估模块首先为由前一跳构建的每个现有推理链动态制定一个唯一的搜索查询,方法是将其累积信息前置到问题 \(Q\)。这种一对一映射确保每个查询都针对其对应的链量身定制,以检索扩展该链所需的补充信息。利用这些查询,该模块通过综合查询-三元组语义相关性和三元组可信度这两个因素来量化每个三元组的可靠性。基于这些细粒度的可靠性分数,该模块为每个现有链选择最可靠的前 \(K\) 个非冗余三元组,从而过滤掉包含欺骗性错误信息的三元组,为构建当前跳的候选推理链提供一个高度可信的搜索空间。在此搜索空间内,链构建模块采用束搜索策略自回归地构建多个候选推理链。具体而言,该模块使用一个多选推理提示来指导基于LLM的选择器,为每个现有链决定:是附加搜索空间中最可能的三元组以扩展链,还是在累积信息已足以回答 \(Q\) 时执行提前终止。同时,该模块根据选择器决策的概率更新每个候选链的置信度分数。根据这些更新后的分数,仅保留置信度最高的前 \(F\) 个候选链作为下一跳的输入。如此,三元组评估和链构建的迭代循环持续进行,直到所有链终止或达到最大跳数限制。最终,框架将最终的鲁棒链合成为精炼且可靠的支撑上下文,记为 \(\mathcal{Z}\)。这个 \(\mathcal{Z}\) 被前置到问题 \(Q\) 以形成统一输入 \(\mathcal{X}\),并馈送到生成器以产生最终答案。  

为评估ReliableRAG的有效性,我们在三个经过欺骗性错误信息对抗增强的多跳问答数据集上进行了广泛的实验。实验结果表明,ReliableRAG在所有数据集上均优于现有方法,有效减轻了错误信息的干扰。进一步分析表明,通过将推理锚定在可靠的三元组上,我们的框架增强了RAG系统的事实可靠性和鲁棒性,即使在欺骗性错误信息注入的情况下也能产生更准确的答案。  

本工作的主要贡献如下:  
I) 我们发现,优先考虑三元组级别的细粒度可靠性有助于过滤细粒度欺骗性错误信息,从而防止其传播并促进更鲁棒、更可靠的多跳推理。  
II) 我们提出了ReliableRAG——据我们所知,首个可靠性驱动的框架,其特点是引入了新颖的三元组评估模块,可动态量化三元组级别的细粒度信息可靠性,从而防止欺骗性错误信息在多跳问答中的误导效应,并构建高度可信的搜索空间。  
III) ReliableRAG将三元组评估模块无缝集成到推理管道中,使链构建模块能够利用高度可信的搜索空间,自回归地构建锚定于可靠三元组的鲁棒多跳推理链,从而在生成最终答案之前防止错误信息传播。  
IV) 我们在三个经过欺骗性错误信息对抗增强的多跳问答数据集上进行了广泛的实验。结果表明,ReliableRAG显著优于现有方法,从而增强了RAG系统的事实可靠性和鲁棒性,并验证了其在系统性地防止推理过程中错误信息传播方面的有效性。  

## 2\.相关工作  
RAG在多跳问答中的进展通过迭代搜索、基于归因的推理和偏好优化等技术促进推理过程,从而提高性能(Trivedi 等人, 2023;Li 等人, 2024;Liu 等人, 2025)。然而,这些系统容易受到错误信息的影响,其中看似合理的干扰项或对抗性段落会显著降低性能并破坏生成过程(Zhou 等人, 2024;Bhuiya 等人, 2024;Wang 等人, 2025;Su 等人, 2025)。为了解决这个问题,先前的工作已从早期基于特征的分类方法(Kaliyar 等人, 2021;Kaliyar 和 Singh, 2019;Vaibhav 等人, 2019)发展到现代基于LLM的可信度评估方法(Pelrine 等人, 2023;Quelle 和 Bovet, 2024)以检测错误信息。

相似文章

PRA-RAG:检索增强生成中针对检索损坏的可证明鲁棒聚合

arXiv cs.AI

PRA-RAG是一种用于检索增强生成的可证明鲁棒的聚合算法,旨在抵御对检索文本的投毒攻击。它利用嵌入空间中的几何结构来识别鲁棒子集,并提供攻击影响的理论界限,将攻击成功率降低至1%,同时保持准确率。

为什么检索增强生成会失败:图视角

arXiv cs.CL

本文探讨了检索增强生成(RAG)系统即使在获取到正确证据的情况下仍然失败的原因。通过电路追踪和归因图,作者发现正确的预测展现出更深的推理路径和更分散的证据流,而失败则表现为浅层、碎片化的模式。他们提出了一个基于图的错误检测框架和有针对性的干预措施,以提高RAG的可靠性。