CoVer: 冲突感知的声明验证

# CoVer：冲突感知的事实核查框架  
来源：https://arxiv.org/html/2609.00508  
**作者**  
石岱 Affiliation：同济大学 Email：[yixin@tsinghua\.edu\.cn](mailto:[email protected])  
储博浩 Affiliation：杜伊斯堡-埃森大学  
王慧 Affiliation：杜伊斯堡-埃森大学  
储宇伟 Affiliation：卢森堡大学  
王一帆 Affiliation：华盛顿大学  
陈景若 Affiliation：康奈尔大学  
李思敏 Affiliation：北京航空航天大学  
易鑫 Affiliation：清华大学 Affiliation：北京人工智能研究院  
李和武 Affiliation：清华大学  
*同等贡献。通讯作者  

###### 摘要  
社交媒体事实核查长期面临证据级与聚合级冲突的挑战，其中错误证据常模仿权威新闻来源。为应对此挑战并支持冲突验证任务，我们提出 **ContraNote**，这是一个基于 X\\mathbb\{X\} 社区笔记系统构建的大规模真实世界数据集。该数据集包含 33,686 篇帖子用于评估证据级冲突解决，以及 54,474 个实例用于评估聚合级优先级排序。此外，我们提出 **CoVer**，一个包含三阶段流水线的事实裁决框架：证据模式归一化、事实共识与支持验证。该框架优先处理证据而非噪声，以防止其影响最终裁决。技术评估表明，CoVer 在多个数据集上均优于现有最优基线：在 ContraNote 数据集上（冲突任务准确率 86.0%，宏平均 F1 值 68.0%，平衡准确率 64.5%；优先级任务准确率 88.5%，宏平均 F1 值 88.5%，平衡准确率 89.2%），在 CONFACT-HumC（准确率 88.4%）和 CONFACT-ModC（准确率 89.4%）数据集上表现优异。

## 1 引言  
开发有效的自动化事实核查方法对于大规模遏制社交媒体虚假信息传播日益重要（Choi and Ferrara, 2024；Augenstein et al., 2024）。现代系统通常采用分解-聚合流水线，将复杂主张拆解为原子子主张，针对每个子主张基于外部知识源进行验证，并综合裁决以判定整体真实性（Wang et al., 2024）。检索增强生成（RAG）在此流水线中发挥关键作用，使大语言模型（LLM）能够基于从开放网络检索的外部证据进行推理（Lewis et al., 2020）。然而，该流水线常因冲突而影响裁决准确性。我们将这些冲突分为两个层级：(i) **证据级冲突**——不同来源的检索文档对同一事实持对立立场；(ii) **聚合级冲突**——单个复杂主张中的子主张产生矛盾信号，需权衡并协调。参见图1：冲突证据示例。  

这些挑战体现在社交媒体声称“一项新发布的公共卫生研究将 COVID-19 疫苗与超额死亡上升相关联”的场景中（图1）。在验证过程中，检索可能呈现证据级冲突：广泛传播的标题将该研究解读为“证实”此前反疫苗主张，而发表期刊及流行病学家的声明则澄清该研究并无此类因果关系。此外，当该主张被拆解为子主张（如“超额死亡趋势”与“隐含因果关系”）时，会出现聚合级冲突，需权衡相互矛盾的信号。此处聚合级冲突并非必然意味着子主张彼此矛盾，而是不同子主张可能获得与整体主张逻辑含义冲突的局部裁决。例如，证据可能支持“超额死亡率上升”的观察，但反驳将其归因于 COVID-19 疫苗接种的隐含因果推断。因此，冲突出现在局部裁决聚合时。解决此类矛盾至关重要，但社交媒体中的证据冲突在两方面不同于一般冲突：(i) **意图性**：不同于通常因过时数据导致的一般搜索冲突，社交媒体冲突常具对抗性，虚假信息刻意模仿权威风格；(ii) **流行度偏见**：社交媒体上的虚假叙事可能比事实纠正传播更快。依赖频率聚合的方法在此类问题上存在局限。为弥补这一差距，我们引入 **ContraNote**，一个源自 X\\mathbb\{X\} 社区笔记系统的现实世界数据集。ContraNote 通过识别获得众包贡献者对立反驳陈述的帖子来捕捉现实冲突。我们筛选超两百万条笔记，构建两个任务：包含 33,686 篇帖子的**冲突任务**用于评估支持/反驳，以及包含 54,474 篇帖子的**优先级任务**用于评估高质量证据识别。我们进一步提出 **CoVer** 框架，通过优先处理证据而非噪声来解析和裁决冲突证据。不同于一次性聚合所有证据的算法，CoVer 采用结构化流水线，包含三个模块：证据模式归一化、事实共识与支持验证。这有助于逐项审视并过滤如引用谣言、标题或弱相关陈述等噪声。技术评估显示 CoVer 在多个数据集上超越当前最优（SOTA）基线：在 ContraNote 冲突和优先级任务中，准确率分别为 86.0% 和 88.5%，平衡准确率分别为 64.5% 和 89.2%；在 CONFACT-HumC 和 CONFACT-ModC 上分别达到 88.4% 和 89.4% 的准确率。消融研究进一步证实了框架各模块的贡献。  

本文主要贡献如下：  
∙\\bullet 提出 **CoVer 框架**，包含证据模式归一化、事实共识与支持验证模块，以有效解决证据冲突；  
∙\\bullet 构建 **ContraNote 数据集**，包含来自 X\\mathbb\{X\} 的 33,686 个冲突实例和 54,474 个优先级实例，为评估现实冲突提供测试平台；  
∙\\bullet 提供实证表明 CoVer 在多个证据冲突数据集上显著优于现有基线。

## 2 背景与相关工作  
### 2.1 自动化事实核查  
传统基于专家的事实核查在可扩展性、选择偏差和公众信任方面面临重大挑战（Pennycook and Rand, 2019；Straub and Spradling, 2022；Chuai et al., 2025；Chuai et al., 2026b）。为此，基于社区和自动化的替代方案逐渐成为可行解决方案（Kim and Walker, 2020；Quelle and Bovet, 2024；Zhang et al., 2026）。以 X\\mathbb\{X\} 社区笔记为代表的基于社区的事实核查，可达到与专家判断相当的准确率（Allen et al., 2021），抵抗动机性推理（Epstein et al., 2020），并触及更广泛的在线社区（Micallef et al., 2020）。然而，其速度仍不足以在早期遏制虚假信息，且存在协调性评分操纵问题（Chuai et al., 2024；Chuai et al., 2026a；Chuai et al., 2026b）。鉴于大语言模型的最新进展，自动化事实核查框架在识别可疑多模态主张（Qi et al., 2024；Zhou et al., 2024）、验证其真实性（Wang and Shu, 2023）以及生成解释（Yue et al., 2024；He et al., 2023；Zeng and Gao, 2024）方面展现出潜力。值得注意的是，De et al.（2025）探索了社区笔记的综合生成，而本文专注于证据冲突解决。除验证外，大语言模型可通过聚合多样视角（Burton et al., 2024）并将复杂意见映射为共识陈述（Bakker et al., 2022）来增强集体决策（Yang et al., 2024）。例如，Fish et al.（2024）将大语言模型与社会选择理论结合，生成多摘要而非单一共识。本文工作则聚焦于证据冲突解决。

### 2.2 事实核查中的冲突解决  
**真相发现**：早期冲突解决聚焦于真相发现，旨在通过评估来源可靠性从冲突来源中识别准确信息（Li et al., 2016）。传统方法使用迭代概率模型推断可信度（Li et al., 2016；Lyu et al., 2017），后发展为神经框架，如 DeClarE，通过注意力机制聚合外部证据和来源可信度（Popat et al., 2018）。与这些关注来源可信度的方法不同，本文方法建模冲突证据项间的共识。  

**知识冲突的分类与偏差**：随着大语言模型的采用，研究重点转向知识冲突，可分为上下文内、上下文间及参数性差异（Su et al., 2024；Xie et al., 2023；Ming et al., 2024）。在解决这些冲突时，大语言模型表现出显著偏差：对内部参数记忆的确认偏差（Xie et al., 2023；Su et al., 2024；Özer and Yıldız, 2025）、偏好错误自生成上下文而非检索事实的自生成偏差（Tan et al., 2024），以及通过自然语言推理检测不一致性但任意选择单一证据项而非整体综合的选择偏差（Jiayang et al., 2024）。为缓解这些偏差，我们将冲突解决建立在识别证据立场并基于立场冲突进行解决的基础上。  

**检测与解决框架**：为应对大语言模型偏差，研究提出了用于检测的事实一致性模型（Jiayang et al., 2024），采用迭代多智能体辩论（如 MADAM-RAG）（Wang et al., 2025），或通过对比论证综合进行解决（Yue et al., 2024）。此外，稳健的解决需要校准与不确定性估计，以在时间上下文中合并冲突且不断演化的证据（Wan et al., 2024；Chen et al., 2022a；Özer and Yıldız, 2025；Burton et al., 2024）。不同于针对文档检索与验证的框架，本文专注于调和矛盾证据。

## 3 问题定义  
在自动化事实核查中，冲突证据主要存在于两个阶段：**证据级**与**聚合级**。  
- **证据级冲突**发生在检索文档对单个事实呈现矛盾立场时。  
- **聚合级冲突**发生在复杂主张被拆解为产生分歧裁决的子主张时。例如，正确的归因与错误的因果推断要求系统将这些混合信号综合为一致结论。  

形式化定义如下：设主张 \(C\) 被分解为子主张集合 \(S=\{s_1,...,s_n\}\)。对每个 \(s_i\)，系统检索证据文档集 \(E_i=\{e_{i,1},...,e_{i,m}\}\)。若 \(E_i\) 包含同时支持与反驳 \(s_i\) 的矛盾立场标签，则存在证据级冲突。若局部裁决集 \(V_S=\{v(s_1),...,v(s_n)\}\) 对整体 \(C\) 的真实性具有对立逻辑含义，则发生聚合级冲突。目标是学习一个验证函数 \(\mathcal{F}(C,\bigcup E_i) \rightarrow y\)，通过优先处理证据而非噪声，将主张与冲突证据映射至最终裁决 \(y\in\{\text{支持},\text{反驳},\text{信息不足}\}\)。

## 4 ContraNote 数据集  
我们使用 X\\mathbb\{X\} 发布的开源社区笔记仓库（X Corp., 2025）构建 ContraNote 数据集。社区笔记是一种众包虚假信息揭露机制，合格贡献者提供额外上下文以评估帖子真实性。本研究使用的纵向数据跨度为 2021 年 6 月至 2026 年 5 月。  

**图2：ContraNote 数据分布，(a) 误导原因分布，(b) 立场笔记长度，(c) 引用来源的笔记百分比**。平台上的单个帖子通常引发多条观点分歧的社区笔记。部分贡献者可能标记帖子为“潜在误导”，而其他贡献者可能认为其因事实准确、讽刺或包含个人观点而“非误导”。针对单个帖子的这些冲突视角创造了复杂的证据矛盾环境。最终笔记选择由用户有用性评分和算法优先级决定。这种内在复杂性为大语言模型从现实冲突中学习并建立信息优先级处理机制提供了独特机会。  

初始语料库包含对应 1,502,486 个独立帖子的 2,276,724 条社区笔记。为分离冲突实例，我们首先识别了获得多条社区笔记的 443,148 个帖子。随后聚焦于包含立场对比的帖子，其定义基于社区笔记的两个分类：**MISINFORMED\_OR\_POTENTIALLY\_MISLEADING** 和 **NOT\_MISLEADING**。我们从筛选后的语料库构建了两个基准任务。第一个任务 **ContraNote Conflict** 评估原始帖子是否因