反馈辅助的文档关系图信任传播用于检索增强生成

# 基于文档关系图的反馈辅助信任传播用于检索增强生成
来源：https://arxiv.org/html/2609.00543  
作者：Ying Chen  
单位：宾夕法尼亚州立大学信息科学与技术学院  
邮箱：[\{zml5515,yingchen\}@psu.edu](mailto:)

###### 摘要
检索增强生成（RAG）系统依赖于外部语料库，而这些语料库可能包含过时、矛盾、嘈杂或不可靠的文档，从而引入可靠性风险。先前的研究已利用文档关系来提高RAG的答案可靠性。为了将可靠性信号传播到直接比较的文档对之外，我们提出了TrustPropRAG，它将文档关系构建为图，并通过图上的多跳传播来估计文档的可靠性。TrustPropRAG通过一组有限的人类关于文档可靠性的反馈来锚定此传播，将这些成本高昂的反馈可靠性信号扩展到整个语料库。具体来说，基于构建的文档关系图，TrustPropRAG通过建立并求解一个优化问题来估计每个文档的信任分数，该问题联合捕获了成对文档关系和用户反馈。这些分数随后用于改进可靠文档的选择，并支持信任感知的答案生成。评估结果表明，TrustPropRAG在检索质量和精确匹配方面均优于基线，并且在稀疏和嘈杂的反馈下仍然保持稳健。

## 1 引言
检索增强生成（RAG）已成为缓解大语言模型（LLMs）局限性的有效方法，因为LLMs的参数知识可能不完整或过时Lewis等（2020）(https://arxiv.org/html/2609.00543#bib.bib1); Borgeaud等（2022）(https://arxiv.org/html/2609.00543#bib.bib2); Izacard等（2023）(https://arxiv.org/html/2609.00543#bib.bib3)。通过从外部语料库检索知识，LLMs可以在答案生成过程中融入相关且最新的信息。然而，RAG对外部语料库的依赖可能引入可靠性风险，因为语料库可能包含嘈杂、过时或被污染的内容（Zhong等，2023 (https://arxiv.org/html/2609.00543#bib.bib5); Zou等，2025 (https://arxiv.org/html/2609.00543#bib.bib4)），以及知识冲突（Xie等，2024 (https://arxiv.org/html/2609.00543#bib.bib6); Chen等，2022 (https://arxiv.org/html/2609.00543#bib.bib7)）。先前的研究旨在在检索Ma等（2023）(https://arxiv.org/html/2609.00543#bib.bib30)和答案生成Wang等（2025a）(https://arxiv.org/html/2609.00543#bib.bib10)两个阶段提高RAG的可靠性。值得注意的是，有一系列研究利用文档之间的关系来提高RAG的答案可靠性，例如通过多数一致从不同文档聚合答案Xiang等（2024）(https://arxiv.org/html/2609.00543#bib.bib11)，或在生成答案前选择一组相互一致的文档Shen等（2025）(https://arxiv.org/html/2609.00543#bib.bib12)。文档关系可以通过自然语言推理（NLI）模型或利用来源元数据来推断。我们提出了TrustPropRAG，一个将文档关系构建为图的框架，因为图表示能够通过*多跳关系*传播信息。近期研究探索了图增强RAG，但主要侧重于组织知识图谱Edge等（2024）(https://arxiv.org/html/2609.00543#bib.bib32)，或构建用于检索的索引图Guo等（2025）(https://arxiv.org/html/2609.00543#bib.bib33)。相比之下，我们使用图结构来估计文档可靠性，并通过多跳关系在语料库中传播这些估计。然而，图传播需要锚定，因为文档关系揭示了文档之间的一致性或冲突，但并未直接给出文档可靠性本身。我们通过一组关于文档可靠性的人类反馈来锚定此传播。在实践中，显式信号（例如，点赞或点踩评分）和隐式信号（例如，点击或停留时间）可以使用回溯方法归因于对生成答案有贡献的文档Wang等（2025b）(https://arxiv.org/html/2609.00543#bib.bib29); Cohen-Wang等（2024）(https://arxiv.org/html/2609.00543#bib.bib28)，从而为这些文档提供正面或负面信号。由于用户反馈收集成本高昂，TrustPropRAG利用文档关系图在语料库中传播稀疏的反馈，类似于半监督学习中的标签传播方法（Zhu等，2003 (https://arxiv.org/html/2609.00543#bib.bib16); Zhou等，2003 (https://arxiv.org/html/2609.00543#bib.bib17)）将少数标记样本传播到大量未标记样本的方式。TrustPropRAG随后将传播后的文档可靠性分数转化为检索和答案生成的性能提升。为了估计文档可靠性并在语料库中传播估计值，TrustPropRAG首先构建一个文档关系图，其中节点代表文档，边编码文档之间的关系（例如，共享来源、相互支持或矛盾）。基于此图，TrustPropRAG通过建立并求解一个优化问题来估计每个文档的信任分数。该问题包含两个目标函数项，以联合捕获成对文档关系并纳入用户反馈。在查询时，这些信任分数用于信任感知的重排序，这有助于选择更可靠的文档，以及用于信任感知的提示，在答案生成过程中告知LLM文档的可靠性。信任分数优化在语料库上离线执行，将其计算成本分摊到未来的查询中。我们的贡献有三点。首先，我们提出了一个框架，通过在文档关系图上传播人类反馈来估计文档信任分数，并利用这些分数改进检索和答案生成。其次，我们建立并求解了一个用于信任分数估计的优化问题。我们还提供了理论分析，说明反馈如何影响信任分数传播以及传播的收敛速度。第三，我们使用三个开放域问答（QA）基准、三个检索器和六个LLM评估了TrustPropRAG，并进一步测试了其在稀疏和嘈杂反馈下的稳健性。我们的代码在以下地址公开：https://github.com/zhliOvO/TrustPropRAG。

## 2 相关工作
**RAG可靠性。** 越来越多的研究关注如何提高RAG可靠性。例如，InstructRAG指导LLMs使用推理链对检索到的上下文进行去噪Wei等（2025）(https://arxiv.org/html/2609.00543#bib.bib9)。AstuteRAG将检索到的证据与LLM的参数知识进行比较，以处理知识冲突（Wang等，2025a (https://arxiv.org/html/2609.00543#bib.bib10)）。一条著名的研究路线利用文档之间的关系（一致性或矛盾）来提高可靠性。例如，RobustRAG隔离检索到的文档，独立生成每个文档的答案，然后通过多数一致进行聚合Xiang等（2024）(https://arxiv.org/html/2609.00543#bib.bib11)。TrustRAG利用检索文档之间的相似性关系，对其进行聚类，然后在生成前过滤掉被污染的文档Zhou等（2025）(https://arxiv.org/html/2609.00543#bib.bib13)。ReliabilityRAG检测文档之间的矛盾，选择一组相互一致的文档子集，并通过关键词聚合产生最终答案（Shen等，2025 (https://arxiv.org/html/2609.00543#bib.bib12)）。然而，这些关系仅在文档子集内考虑，可靠性并未传播到直接比较的文档之外。为了超越这种单跳关系，TrustPropRAG将文档关系构建为图，并通过图表示捕获文档之间的多跳关系。

**图赋能的RAG。** 图长期以来一直用于建模文本证据之间的关系，应用于多文档摘要（Christensen等，2013 (https://arxiv.org/html/2609.00543#bib.bib18)）和事实验证（Zhong等，2020 (https://arxiv.org/html/2609.00543#bib.bib19)）等任务。近期研究也将图结构融入RAG。例如，GraphRAG使用实体知识图谱组织语料库，并利用社区摘要来处理所有密切相关实体的组Edge等（2024）(https://arxiv.org/html/2609.00543#bib.bib32)。LightRAG将图结构融入文本索引和相关检索，以实现高效的RAG（Guo等，2025 (https://arxiv.org/html/2609.00543#bib.bib33)）。NodeRAG引入异构图结构，以更好地利用图的结构特性Xu等（2025）(https://arxiv.org/html/2609.00543#bib.bib34)。然而，这些方法主要使用图来组织知识和指导检索。相比之下，我们使用图结构在可能包含嘈杂、过时或矛盾信息的语料库中传播文档可靠性估计。

**用于增强LLMs的人类反馈。** 人类反馈已被用于将LLM系统与用户偏好或意图对齐。例如，InstructGPT使用人类反馈通过强化学习训练语言模型（Ouyang等，2022 (https://arxiv.org/html/2609.00543#bib.bib14)）。RAG-Reward使用基于偏好的奖励模型来提高生成答案的质量（Zhang等，2025a (https://arxiv.org/html/2609.00543#bib.bib15)）。Pistis-RAG通过训练一个排序模型来调整人类反馈，以改进内容排序和检索机制（Bai等，2024 (https://arxiv.org/html/2609.00543#bib.bib37)）。一些方法进一步研究交互环境中的反馈。例如，Liu等（2025b）(https://arxiv.org/html/2609.00543#bib.bib35)利用人-LLM对话中的隐式反馈。Zhang等（2025b）(https://arxiv.org/html/2609.00543#bib.bib36)利用参与和脱离信号来改进基于LLM的推荐器。这些工作主要使用反馈来微调模型行为或改进人-LLM交互中的输出。相反，TrustPropRAG利用有限的反馈来估计大规模语料库中的文档可靠性，而无需模型微调。

## 3 方法论
我们的目标是通过从外部语料库中选择和使用更可靠的文档来进行答案生成，从而增强RAG。外部文档语料库可能包含不可靠的文档，例如那些包含错误信息、过时信息或矛盾说法的文档（Xu等，2024 (https://arxiv.org/html/2609.00543#bib.bib8); Zou等，2025 (https://arxiv.org/html/2609.00543#bib.bib4)）。用户反馈可以表明某些文档是可靠还是不可靠。例如，用户报告或事实验证系统标记的RAG生成的正确和错误答案，可以追溯到其贡献文档（例如，使用回溯方法Wang等（2025b）(https://arxiv.org/html/2609.00543#bib.bib29); Cohen-Wang等（2024）(https://arxiv.org/html/2609.00543#bib.bib28)），从而为相应文档提供正面或负面反馈。然而，用户反馈只能覆盖大型外部语料库的一小部分。为解决此问题，TrustPropRAG利用文档关系在语料库中传播稀疏的反馈。如图1 (https://arxiv.org/html/2609.00543#S3.F1)所示，TrustPropRAG包含四个主要阶段。首先，我们构建一个图，其中每个节点代表一个文档，每条边编码两个文档之间的关系，例如同源关系、相互支持或矛盾（第3.1节 (https://arxiv.org/html/2609.00543#S3.SS1)）。其次，基于文档关系图，我们建立并求解*用于估计信任分数的优化问题*（第3.2节 (https://arxiv.org/html/2609.00543#S3.SS2)）。我们通过联合优化语料库C={d₁,d₂,...,dₙ} 中所有文档的分数来估计每个文档dᵢ的信任分数τᵢ∈[0,1]。第三，我们执行*信任感知重排序*（第3.3节 (https://arxiv.org/html/2609.00543#S3.SS3)）。给定用户查询q，目标是生成一个包含k个文档的排序列表ℛₖ(q)，提供给LLM进行答案生成，优先选择具有较高信任分数的查询相关文档。最后，我们在答案生成过程中利用文档信任分数执行信任感知提示（第3.4节 (https://arxiv.org/html/2609.00543#S3.SS4)）。TrustPropRAG将离线信任估计与查询时的答案生成分离。图构建和信任分数优化在语料库上离线执行，将其计算成本分摊到未来的查询中，而信任感知的重排序和提示则针对每个查询执行，仅增加有限的额外开销。参考图注。

图1：TrustPropRAG流程概览。

### 3.1 文档关系图构建
给定语料库𝒞，我们构建一个文档关系图G=(𝒞, E)，其中每个节点代表一个文档，每条边eᵢⱼ编码文档dᵢ和dⱼ之间的关系。每条边eᵢⱼ被分配一个关系标签ℓᵢⱼ。具体来说，ℓᵢⱼ=+1意味着这两个文档预期会收到相似的信任分数；ℓᵢⱼ=-1意味着它们包含矛盾的说法，不应同时被高度信任；ℓᵢⱼ=0意味着无法识别可靠的关系。每条边还有一个置信权重wᵢⱼ∈[0,1]，反映了与关系标签ℓᵢⱼ相关的置信度。关系标签和置信权重可以通过不同方式获得。例如，我们可以使用来源元数据将来自同一来源组的两个文档dᵢ和dⱼ用支持性边（ℓᵢⱼ=+1）连接起来，因为它们预期具有相关的可信度，因此具有相似的信任分数。文档关系也可以使用NLI模型推断，该模型可以推断出文档dᵢ和dⱼ是支持（ℓᵢⱼ=+1）、矛盾（ℓᵢⱼ=-1）还是中立（ℓᵢⱼ=0）。对于由NLI推导的边，置信权重wᵢⱼ设置为与关系标签相关的softmax概率。

### 3.2 信任分数优化
**成对一致性损失。** 我们鼓励具有正关系标签的两个文档拥有相似的信任分数，同时强制矛盾文档具有发散的信任分数。具体来说，如果dᵢ和dⱼ相互支持（ℓᵢⱼ=+1），则它们的信任分数τᵢ和τⱼ应该彼此接近，即我们旨在最小化(τᵢ-τⱼ)²；而如果ℓᵢⱼ=-1，意味着dᵢ和dⱼ矛盾，它们的信任分数应该相差较大，以便最多只有一个文档可以被信任，即我们旨在最小化(τᵢ+τⱼ-1)²。因此，我们定义成对一致性损失ℒₚₐᵢᵣ：
ℒₚₐᵢᵣ = ∑_{eᵢⱼ∈E, ℓᵢⱼ=+1} wᵢⱼ(τᵢ-τⱼ)² + ∑_{eᵢⱼ∈E, ℓᵢⱼ=-1} wᵢⱼ(τᵢ+τⱼ-1)²。