面向检索增强生成的源感知重排序：一种可靠性先验方法

# 1 引言
来源：https://arxiv.org/html/2607.22584  
面向检索增强生成的源感知重排序：一种可信度先验方法  

Yuktha Tata Koganti, Hugo Garrido-Lestache Belinchon  
计算机科学与软件工程系  
密尔沃基工程学院  
1025 N Broadway St, Milwaukee, WI 53202  
[email protected], [email protected]  

摘要  

标准检索增强生成流水线仅依据语义相似度对检索文档排序，而未考虑来源出处或可信度。本研究评估了一种简单且可解释的RAG检索排序改进方法，该方法融入了基于领域信息的来源可信度先验。每个文档根据其来源类型分配一个先验值λ(s)，检索得分通过公式score(q,d)=sim(q,d)×λ(s)重新加权。该框架与仅基于相似度的基线模型在包含120篇文档的健康领域语料库上进行评估。在此受控设定下，源感知重排序将Precision@5从0.48提升至0.72，并在所评估的威胁模型（低可信度来源可通过元数据识别）下降低了平均对抗性文档检索量。所有实验均在密尔沃基工程学院的高性能计算集群Rosie上执行，该集群提供了GPU加速基础设施，确保了完整实验流水线的可靠、可重复运行。这些结果表明，在所述实验设置的范围内，该方法可能成为RAG流水线中源质量退化的一种潜在缓解策略。  

大型语言模型越来越多地部署在事实准确性具有实际影响的领域，包括医学、法律和公共卫生。检索增强生成通过将响应基于外部检索文档，解决了静态语言模型的一个根本局限性，使系统能够在推理时融入最新和领域特定的知识。然而，标准RAG流水线仅依据查询和文档嵌入之间的语义相似度来检索文档。这种设计将所有检索到的文档视为同等有效的输入，而不考虑其来源、可信度或潜在危害。  

在开放领域或未经筛选的部署环境中，这可能会引入潜在漏洞。一篇经过同行评审的临床指南和一篇AI生成的文章，如果其表面内容涉及相同主题，可能会产生相似的嵌入表示，而仅基于相似度的检索器无法根据来源可信度来区分它们。在对抗性环境中，语义上看似合理但事实具有误导性的文档可以被注入检索语料库，并在仅基于相似度的排序函数下不受惩罚地被检索到。  

本研究通过将来源可信度先验引入RAG检索排序函数来解决这个问题。该框架根据文档的来源类型为其分配一个可信度先验，在重排序过程中将检索相似度得分乘以该先验，并可选地通过单跳平滑步骤将可信度信号传播给语义相邻的文档。此外，还通过后查询权重更新机制，基于跨顺序交互的启发式反馈调整先验值。  

本研究并未提出新的检索模型。它评估了一种简单且可解释的检索排序修改方法，该方法融入了来源级先验，并考察了在受控设定下这种修改是否减少了对低可信度内容的检索。其贡献在于系统性地描述了来源级先验如何与标准、对抗性和参数敏感性设定下的检索行为相互作用。  

本文有三项贡献。第一，提出了一种可信度加权重排序公式，作为后检索修改，无需改变底层语言模型或嵌入模型。第二，在特定威胁模型（低可信度文档可通过来源类型元数据识别）下进行受控的对抗性注入评估——结果仅在该威胁模型内解释。第三，在包含120篇文档的健康领域语料库上进行的实证分析表明，在此受控设定下，来源出处加权可降低对抗性检索，并提高与仅相似度基线相比的精确度。  

## 2 相关工作  

检索增强生成。Lewis等人提出了RAG框架，结合了参数化语言模型知识与文档集合上的非参数化稠密检索，在开放域问答中显著减少了幻觉[6 (https://arxiv.org/html/2607.22584#bib.bib1)]。Guu等人通过REALM扩展了这一方向，联合训练了检索器和生成器，实现了端到端学习[3 (https://arxiv.org/html/2607.22584#bib.bib2)]。这两种系统都纯粹基于嵌入相似度检索文档，没有评估来源可信度的机制。我们的工作在此基础上引入了一个乘性可信度项到检索排序函数中。  

稠密段落检索与索引。Karpukhin等人确立了使用双编码器架构的稠密段落检索，作为稀疏检索方法的一种有效替代[5 (https://arxiv.org/html/2607.22584#bib.bib3)]。Johnson等人开发了FAISS，作为一种可扩展的近似最近邻索引，能够对大型文档集合进行高效的相似度搜索[4 (https://arxiv.org/html/2607.22584#bib.bib4)]。我们的检索层直接构建在这些方法之上，使用SentenceTransformers配合FAISS进行候选检索，然后应用可信度重排序。  

神经检索的对抗鲁棒性。先前的工作已经表明，神经检索系统容易受到对抗性段落的影响，这些段落看似语义相关但包含误导性内容。Carlini等人及关于语料库投毒的相关工作表明，基于嵌入的检索器可以通过注入高相似度低质量文档而被操纵[1 (https://arxiv.org/html/2607.22584#bib.bib5)]。我们的对抗性注入实验直接操作了这种威胁模型，并测量了在特定且受约束条件下可信度先验的抑制效果。  

信息系统中的信任与出处。在信息可信度和知识图谱质量方面的研究已经确立，来源出处是评估可信度的有意义信号[2 (https://arxiv.org/html/2607.22584#bib.bib6)]。关于虚假信息检测的工作表明，来源级信号提供了独立于内容级信号的预测价值[7 (https://arxiv.org/html/2607.22584#bib.bib7)]。我们的工作与这些方法的不同之处在于，它在LLM流水线的检索层运行，而不是作为独立的分类系统，并且使用预定义的领域信息先验而不是学习到的分类器。  

## 3 实现  

### 3.1 系统架构  

所提出的框架通过一个源感知重排序层扩展了标准RAG检索流水线，该层位于FAISS索引和最终上下文窗口之间。该系统与基线共享嵌入和检索组件：文档使用句子变换器编码器进行嵌入，通过近似最近邻搜索建立索引，并作为候选池进行检索。然后，源感知系统应用可信度加权、可选的相邻平滑和可选的后查询权重更新，然后返回最终的top-k结果。基线系统直接根据相似度排名从FAISS返回top-k结果。两个系统在相同的查询集上使用相同的指标进行评估。  

核心排序修改——将相似度乘以来源先验——有意地保持简单。本工作的贡献不在于算法新颖性，而是对在受控设定下这种简单修改是否会产生有意义的检索差异进行实证评估，并诚实地描述其局限性和边界条件。  

参见图注  
图1：系统架构概览。左侧分支显示基线仅相似度流水线。右侧分支显示具有可信度加权、可选的相邻平滑和可选的后查询权重更新的源感知重排序流水线。两个分支共享嵌入和检索组件，并在相同的查询集上评估。  

### 3.2 语料库与来源分类  

评估语料库包含120篇健康和医学信息领域的文档，涵盖7种来源类型。选择健康领域是因为在此背景下来源可信度具有明确的实际意义——同行评审的临床研究与AI生成的健康文章之间的区别对下游答案质量具有实际重要性。该语料库包括10篇恶意制作的文档，其来源类型为ai_generated或user_generated，每篇都旨在语义上与评估查询主题接近，同时包含误导性或虚假的医学声明。这些文档仅评估层知晓，在检索过程中不会被标记。  

### 3.3 基线检索  

基线系统使用all-MiniLM-L6-v2句子变换器[8 (https://arxiv.org/html/2607.22584#bib.bib8)]对所有文档进行嵌入，并使用FAISS通过L2归一化向量上的内积相似度（等价于余弦相似度）进行索引。对于查询q和文档d，基线检索得分为：  

score_baseline(q,d) = sim(q,d) (1)  

根据此得分取top-k文档作为基线检索集，不进行进一步修改。  

### 3.4 可信度加权重排序  

源感知系统首先通过相似度检索3k个文档作为候选池，然后使用可信度加权得分进行重排序：  

score_SA(q,d) = sim(q,d) × λ(s_d) (2)  

其中s_d是文档d的来源类型，λ(s_d)是预定义的领域信息先验。扩展的3k候选池是必要的，以便可信度加权能够有意义地重新排序结果——仅对最终top-k结果进行重排序不会改变排序顺序。初始先验值见表1 (https://arxiv.org/html/2607.22584#S3.T1)。  

表1：来源类型可信度先验λ(s)。这些值代表了关于健康领域相对来源可信度的基于领域信息的假设。它们并非从数据中学习，也不声称是最优的。结果对这些值的敏感性在5.4节 (https://arxiv.org/html/2607.22584#S5.SS4) 中通过实验检验。  

### 3.5 可选相邻平滑  

在可信度加权之后，可选的单跳平滑步骤根据每个候选文档在索引中的最近邻居调整其有效可信度：  

λ_smoothed(d) = λ(d) + α ∑_{n∈N(d)} sim(d,n) · λ(n) (3)  

其中N(d)表示d的top-3最近邻居，α=0.10是固定的平滑系数，结果被裁剪到[0.10, 1.00]范围内。此步骤是一种启发式调整，而非原则性的传播算法。在当前语料库上，其效果微小；它作为结构扩展被包含在内，其益处可能随着语料库规模增大而增加。  

### 3.6 可选后查询权重更新  

每次查询后，系统可选地使用启发式反馈信号更新来源类型权重：  

λ_{t+1}(s) = clip( λ_t(s) + η δ_t , 0.10, 1.00 ) (4)  

其中η=0.05是更新率，δ_t是基于地面真实相关性标签的模拟反馈信号。具体来说：如果来源类型与期望的相关类型匹配，δ=+0.3；如果文档是对抗性的，δ=-0.5；否则δ=-0.1。该反馈基于 oracle——它使用地面真实标签而非真实用户信号——此组件的结果应被解释为在理想条件下展示更新规则的行为，而不是可部署自适应学习的证据。  

### 3.7 计算基础设施  

本工作中的所有实验均在密尔沃基工程学院运营的高性能计算集群Rosie上执行并验证。在基线、源感知、对抗性、敏感性和自适应实验运行中重复的嵌入和索引工作负载，在标准笔记本电脑硬件上将极为缓慢。Rosie的GPU加速节点使得整个流水线能够在一次会话中完成，并获得一致、可重复的结果。其稳定、依赖隔离的Linux环境确保了所有运行中相同的软件条件，通过Git进行的版本控制使每个报告的结果都能追溯到特定的实验配置。本文评估的广度只有在Rosie提供的基础设施下才切实可行。  

## 4 实验  

### 4.1 评估设置  

构建了十个评估查询，涵盖五个医学主题：疫苗安全性、药物相互作用、癌症筛查、抗生素耐药性和治疗效果。每个查询都配有一组基于主题匹配的相关文档ID，这些ID的确定独立于来源类型。所有系统均在k=5时使用以下指标评估检索效果：Precision@5（前5个结果中相关文档的比例）、NDCG@5（使用相关性标签作为分级的标准化折现累积增益）、MRR（第一个相关文档的倒数排名）以及对抗性命中率（前5个结果中对抗性文档的比例）。平均可信度得分和高可信度比率作为直接的次级描述性指标单独报告，这些指标与方法设计直接相关。  

### 4.2 对抗性注入协议  

所有10篇对抗性文档与110篇干净文档一起被注入FAISS索引，用于对抗性实验。两个系统在完整的被投毒索引上对所有10个评估查询进行查询。对抗性文档旨在在语义上接近查询主题，代表了基于相似度检索的困难情况。对抗性命中率衡量这些文档出现在最终top-5结果中的频率。  

### 4.3 自适应学习协议  

自适应实验顺序处理所有10个查询，每次查询后使用第3.6节描述的启发式信号更新权重。每次查询后记录权重历史。收敛被定义为最后三次查询的平均绝对权重变化低于0.01。  

## 5 结果与分析  

### 5.1 检索质量  

表2 (https://arxiv.org/html/2607.22584#S5.T2) 展示了两个系统在所有10个查询上的平均检索指标。  

表2：基准线与源感知系统在10个查询上的平均检索指标。在此受控设定下，源感知重排序将Precision@5从0.48提升至0.72，相对提升了50%，表明可信度加权始终能够呈现主题相关的文档。源感知系统在所有查询上的MRR达到1.000，意味着在此查询集中第一个检索到的文档始终相关。始终完美的MRR表明评估查询相对