DARE：用于结构化知识事实核查的辩证智能推理

# 结构化知识事实验证的辩证智能体推理  
来源：https://arxiv.org/html/2609.13808  

李逸飞　郑晓涵  
单位：中国科学技术大学　邮箱：[[email protected]](mailto:)  
钱文涛  
单位：中国科学技术大学  
庄连生†  
††注：通讯作者。  
单位：中国科学技术大学  

###### 摘要  
结构化知识事实验证旨在通过推理结构化证据，判断自然语言陈述的真实性。近期的程序生成方法利用大语言模型生成可执行的图推理程序，在结构化知识事实验证基准测试中取得了优异性能。然而，这些方法仍受限于无效关系生成、缺乏自我纠正的单路径推理，以及倾向于高估支持信号的偏倚证据评估。我们提出了辩证智能体推理框架，这是一种将结构化知识事实验证表述为迭代检索-推理-反思过程的多智能体框架。该框架整合了基于关系的证据检索以将推理约束在有效结构中，辩证双向验证从支持与反驳双重视角评估证据，以及基于置信度的元反思以动态确定是否需要额外的证据探索。大量实验证明了该框架在结构化知识事实验证中的有效性：以8B参数模型为骨干，达到88.12%的准确率，匹配甚至超越基于GPT-4o的程序生成基线模型，这证明了辩证智能体推理在激发大语言模型潜在推理能力方面的有效性。

参见图示图1：检索器、推理器和控制器智能体之间的交互。

## 1 引言  
结构化知识事实验证旨在判断自然语言陈述是否被知识图谱中的结构化知识所支持或反驳。给定一个陈述，系统必须从知识图谱中检索相关证据并做出有依据的二元判断。此任务在打击错误信息方面扮演重要角色，并日益受到自然语言处理社区的关注。大语言模型的最新进展，将范式从训练专用分类器转向程序生成方法，这些方法提示大语言模型生成由图操作组成的可执行推理程序，并在知识图谱上执行以获得验证结果。尽管这些方法取得了成功，但我们发现现有程序生成方法的一个根本局限：它们在知识图谱上产生了无依据且未经纠正的推理轨迹。具体而言，推理失败源于三个紧密耦合的问题。首先，大语言模型不了解知识图谱特有的关系词汇，导致无效关系生成和执行错误。其次，推理在单次前向传递中进行，缺乏迭代纠正机制，使得过程在面对多跳或组合陈述时显得脆弱。第三，验证从单一视角进行，导致对支持证据的系统性高估和置信度校准不佳。为解决此局限，我们提出DARE，一个统一的辩证推理框架，对知识图谱执行迭代的、有依据的验证。DARE将事实验证视为一次性的程序执行，而是将其表述为一个闭环的检索-推理-反思过程，将证据依据与对抗性评估相结合。三个智能体之间的交互如图1所示。具体来说，DARE首先引入基于关系的检索，通过从图中检索候选关系并根据陈述语义进行过滤，将推理约束在有效的知识图谱结构中，确保所有推理步骤都基于实际的知识图谱关系。接着，设计辩证双向推理，从支持和反对两个视角评估证据，以显式暴露矛盾并减少确认偏见。最后，提出基于置信度的元反思，监控两个视角之间的一致性，并自适应地决定是否需要额外的推理迭代，形成一个持续精炼证据和判断的统一循环。

- • 我们指出无依据且未经纠正的推理轨迹是程序生成方法在结构化知识事实验证中的关键局限，并提出了DARE，一个通过有依据的检索、辩证评估和自适应反思来解决此问题的辩证推理框架。
- • 我们证明辩证双向推理改善了证据校准，而基于置信度的元反思使得推理过程中能够进行迭代自我纠正，从而实现更可靠的多步推理。
- • 在FactKG基准测试上，使用Qwen3-8B模型的DARE达到88.12%的准确率，匹配或超越基于GPT-4o的程序生成基线模型，同时使用了规模小得多的骨干模型。

## 2 相关工作  

#### 知识图谱上的事实验证。  
事实验证旨在基于结构化或非结构化证据评估陈述的真实性。早期基准主要依赖于非结构化文本或半结构化表格，直到FactKG的出现，基于知识图谱的验证才得到充分重视，该基准将陈述与DBpedia知识图谱中的多种推理类型相对齐。传统方法在图结构上训练专用分类器。近期，基于大语言模型的方法转向少样本和程序生成范式。KG-GPT和StructGPT通过上下文学习执行逐步推理；ProgramFC将陈述分解为可验证的子陈述；PGR定义图推理原语，并提示大语言模型组合可执行程序。另一条并行工作探索大语言模型与知识图谱的集成以进行更广泛的推理任务：Think-on-Graph通过束搜索迭代探索知识图谱路径；RoG生成基于知识图谱关系的忠实推理链。Baek等人使用检索的知识来增强大语言模型进行验证，但未纳入辩证评估。尽管存在差异，这些方法主要依赖于在知识图谱上的单次前向推理轨迹，缺乏显式的迭代纠正或反事实评估机制。

#### 大语言模型推理与自我反思。  
大语言模型推理已从思维链提示进展到自我一致性、对多个推理路径的结构化搜索，以及推理与行动的集成。自我反思进一步使模型能够通过言语反馈、自我修订或基于工具的批评机制来批判和完善其输出。验证链通过生成验证问题并检查一致性来解决幻觉问题，尽管它操作的是非结构化文本而非符号知识。多智能体系统通过启用辩论或基于角色的协作来扩展这一范式，以提高事实性。然而，这些方法主要依赖于自我评估或共识寻求动态，两者都容易受到校准不佳和自我评估扭曲的影响。重要的是，它们缺乏对外部符号证据（如知识图谱）的结构化反事实推理，这限制了它们在需要有依据的对抗性评估的验证任务中的有效性。

参见图示图2：DARE框架用于结构化知识事实验证的概览。检索器从知识图谱中迭代提取基于关系的证据。推理器对支持和反驳视角进行辩证双向推理，以产生证据感知的评估。控制器应用基于置信度的元反思，以决定是终止并给出最终预测，还是用扩展的实体继续迭代推理。

## 3 方法  

### 3.1 任务形式化  
给定一个知识图谱，其中表示实体集，表示关系集，表示三元组集，以及一个提及实体子集的自然语言陈述，知识图谱事实验证的目标是预测标签：  
\[ y = f(s, \mathcal{G}) \in \{\textsc{Sup}, \textsc{Ref}\} \]  
其中和分别表示支持和反驳。该任务要求通过推理知识图谱，判断该陈述是被现有事实支持还是与之矛盾。图2提供了所提出框架的概述。

### 3.2 检索模块  
检索器负责从知识图谱中收集相关证据。为避免程序生成方法固有的关系映射失败，检索器采用先检索后过滤的策略，分两阶段进行。

#### 邻域检索。  
对于陈述中提到的每个实体，检索器通过直接邻域查找从知识图谱中检索所有相邻三元组：  
\[ \Gamma_e = \{(h, r, o) \in \mathcal{T} \mid h = e \lor o = e\} \]  
得到完整的邻域子图。这确保所有检索到的关系都存在于知识图谱中，消除了关系映射错误。在迭代时，检索器将实体集扩展到包括先前检索到的三元组中发现的实体，从而实现多跳证据链。

#### 语义过滤。  
完整的邻域集通常包含与验证陈述无关的关系。我们使用基于大语言模型的证据选择器，根据陈述语义过滤最相关的三元组：  
\[ E^{(t)} = G_E(\Gamma_s^{(t)}, s; \theta_E) \]  
其中表示指导检索器从中选择与验证最相关的个三元组的角色特定提示。具体来说，大语言模型按相关性对相邻三元组进行排序，并选择前个作为。这仅保留语义相关的关系，减少后续推理的噪声，同时确保所有考虑的关系都是有效的知识图谱条目。

### 3.3 辩证推理模块  
推理器对收集的证据执行辩证双向推理，以产生校准的置信度评估。推理器不是从单一视角评估证据，而是独立地从支持和反驳两个对立观点进行论证，以对抗第1节中确定的自我评估扭曲。

#### 辩证双向推理。  
给定在迭代时累积的证据，推理器使用基于大语言模型的辩证评估器从两个对立视角评估证据。两个分支接受相同的累积证据作为输入，但由不同的提示引导。首先，推理器生成支持论证并产生支持置信度分数：  
\[ c_t^+ = D^+(E_{1:t}, s; \theta_D^+) \]  
其中表示由提示参数化的支持评估分支，量化证据支持陈述的程度。独立地，推理器生成反驳论证并产生反驳置信度分数：  
\[ c_t^- = D^-(E_{1:t}, s; \theta_D^-) \]  
其中表示由提示参数化的反驳评估分支，量化证据反驳陈述的程度。两个提示和结构相同但承载对立的论证指令：指示模型论证为什么证据支持陈述，而指示其论证为什么证据反驳陈述。通过强制模型以同等严谨性阐述支持和反驳论证，辩证推理抵消了自我评估扭曲：即使证据表面呈现支持倾向，模型也必须面对潜在的矛盾，从而产生更平衡、更可靠的置信度估计。

#### 累积证据聚合。  
每次迭代都会累积先前轮次的证据和论证。在迭代时的累积支持和反驳置信度计算为：  
\[ C_t^+ = \max_{1 \leq i \leq t} c_i^+, \quad C_t^- = \max_{1 \leq i \leq t} c_i^- \]  
相应的最佳支持和反驳论证从取得这些最大值的迭代中选出：  
\[ \alpha_t^{+*} = \alpha_{i^+}^+, \quad \alpha_t^{-*} = \alpha_{i^-}^- \]  
其中和分别表示产生最高支持和反驳置信度分数的迭代索引。最大池化捕捉所有迭代中最强的支持和反驳信号，而和跟踪相应的最佳论证。最佳论证被传递给控制器进行裁决，确保最终判决基于最强的论证，而不仅仅是最近迭代的论证。

### 3.4 元控制器  
控制器实现了一种元反思机制，决定当前证据是否足以做出最终决策，或者是否需要进一步推理。

#### 置信度差距。  
我们使用辩证视角之间的置信度差距作为控制信号：  
\[ \Delta_t = |C_t^+ - C_t^-| \]  
差距越大表明证据越一致地指向一个判决，而差距越小则表明存在模糊性。

#### 元反思决策。  
控制器采用基于大语言模型的裁决函数，决定是停止推理还是继续探索：  
\[ \Phi(\alpha_t^{+*}, \alpha_t^{-*}, \Delta_t, \tau) = \begin{cases} \text{裁决}(\cdot), & \Delta_t \geq \tau \\ \text{继续}, & \text{否则} \end{cases} \]