从文章到前提：构建 PrimeFacts，一种用于事实核查证据的提取方法论与资源

# 从文章到前提：构建 PrimeFacts，一种事实核查证据的提取方法与资源

来源：https://arxiv.org/html/2605.06006

###### 摘要

事实核查文章编码了丰富的支持性证据和推理过程，但由于呈现方式的非结构化，这些证据对自动验证系统而言在很大程度上是不可访问的。我们提出了 **PrimeFacts**，这是一种用于从完整的事实核查文章中提取细粒度证据的方法论和资源。我们整理了 13,106 篇 PolitiFact 文章，包含主张、裁决以及所有引用的来源，并识别出 49,718 个文章内超链接作为自然锚点，以精确定位关键证据。我们的框架利用大型语言模型（LLMs）将这些锚定句子重写为独立、脱离上下文的前提，并调查了额外隐性证据的提取情况。在跨文章证据检索和主张验证的评估中，提取出的前提显著提升了性能。脱离上下文的证据带来了更高的可检索性，在平均倒数排名（Mean Reciprocal Rank）上相比逐字句子实现了高达 30% 的相对增益，而使用该证据进行裁决预测则使 Macro-F1 比基线提高了 10-20 个点。这些增益在不同的裁决粒度（2类 vs 5类）和模型架构下保持一致。定性分析表明，脱离上下文的前提仍忠实于原始来源。我们的工作凸显了复用事实核查者证据以实现自动化的前景，并提供了来自现实世界事实核查的大规模结构化证据资源。

关键词：语料库构建、信息抽取、大型语言模型、资源评估

\NAT@set@cites

从文章到前提：构建 PrimeFacts，一种事实核查证据的提取方法与资源

Premtim Sahitaj<sup>1,2</sup>, Jawan Kolanowski<sup>3</sup>, Ariana Sahitaj<sup>1,2</sup>, Veronika Solopova<sup>1,2</sup>, Max Upravitelev<sup>1,2</sup>, Daniel Röder<sup>2</sup>, Iffat Maab<sup>4</sup>, Junichi Yamagishi<sup>4</sup>, Sebastian Möller<sup>1,2</sup>, Vera Schmitt<sup>1,2</sup>

<sup>1</sup>德国柏林工业大学，质量与可用性实验室，德国柏林
<sup>2</sup>德国人工智能研究中心 (DFKI)，德国柏林
<sup>3</sup>德国哈茨应用科学大学，德国韦尼格罗德
<sup>4</sup>日本国立情报学研究所，日本东京

{sahitaj, sebastian.moeller, vera.schmitt}@tu-berlin.de
{ariana.sahitaj, veronika.solopova}@tu-berlin.de, [email protected]
{maab, jyamagis}@nii.ac.jp, [email protected]

## 1. 引言

专业事实核查已成为对抗政治和媒体中错误信息和虚假信息的关键过程。记者式的事实核查者通过收集支持和反驳证据来调查值得核查的主张，随后对该主张的真实性做出裁决 [Graves (2016)](https://arxiv.org/html/2605.06006#bib.bib17); [Jiang et al. (2020b)](https://arxiv.org/html/2605.06006#bib.bib21)。这一劳动密集型过程的结果以文章形式发布，包含主张、背景语境、证据讨论以及关于真实性的最终裁决 [Sahitaj et al. (2025)](https://arxiv.org/html/2605.06006#bib.bib33)。诸如 ClaimReview 模式之类的标准化工作鼓励事实核查者在每篇文章中明确标记主张和裁决，但由于由此产生的额外工作量，其他关键组件，即导致裁决的**证据**以及连接证据与结论的**推理**，很少被结构化或注释 [Jiang et al. (2020b)](https://arxiv.org/html/2605.06006#bib.bib21)。因此，事实核查文章中丰富的支持性信息仍然锁定在非结构化文本中，限制了其在自动验证系统中的可重用性，并掩盖了针对给定主张得出过程的透明度 [Jiang et al. (2020b)](https://arxiv.org/html/2605.06006#bib.bib21); [Alhindi et al. (2018)](https://arxiv.org/html/2605.06006#bib.bib3)。

参见图注
**图 1**：来自事实核查文章的示例片段。（顶部和中部）在模式 B 中脱离上下文的超链接锚定句子。（底部）在模式 C 中通过开放提取识别的统计主张。

类似或改述的主张往往在媒体中反复出现，导致事实核查者在已核实的信息上冗余地花费精力 [Nakov et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib30); [Panchendrarajan and Zubiaga (2024)](https://arxiv.org/html/2605.06006#bib.bib32)。我们认为，**证据复用**是主张匹配的一个有价值扩展：一旦支持性材料被提取和标准化，相同的证据可以与多种主张变体关联，使得未来的主张可以利用现有证据进行验证。此外，这将使得分析来源多样性和推理一致性等方面成为可能。例如，可以考察前提是如何组合以支持或反驳目标主张的，或者评估证据使用是否揭示了文章推理中的信息偏差 [Wang et al. (2025a)](https://arxiv.org/html/2605.06006#bib.bib54); [Stab and Gurevych (2017)](https://arxiv.org/html/2605.06006#bib.bib58); [Maab et al. (2024)](https://arxiv.org/html/2605.06006#bib.bib59)。然而，大规模手动注释证据是不切实际的。事实核查文章通常篇幅较长、引用密集且修辞复杂 [Humprecht (2020)](https://arxiv.org/html/2605.06006#bib.bib20); [Jiang et al. (2020a)](https://arxiv.org/html/2605.06006#bib.bib52)。详尽地识别所有相关证据句子并将其重写为独立陈述需要大量的专家努力，这会导致注释者疲劳、不一致以及高昂的成本 [Ostrowski et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib31); [Schlichtkrull et al. (2023)](https://arxiv.org/html/2605.06006#bib.bib49)。这促使我们探索自动化方法来解锁事实核查文章中的证据。

这些文章包含**文内引用**，作为证据的自然锚点，以增强手动验证过程的透明度（参见**图 1**中的说明性示例）。具体而言，指向数据、报告和转录本等原始来源的超链接广泛嵌入其中 [Cazzamatta (2025a)](https://arxiv.org/html/2605.06006#bib.bib44); [Humprecht (2020)](https://arxiv.org/html/2605.06006#bib.bib20)。因此，这些参考链接可以被利用来自动 pinpoint 文章内的关键支持句子。通过提取并适当重构这些锚定句子，我们的目标是使证据既具有**可寻址性**（与特定来源参考绑定）又具有**可移植性**（在原语境之外可理解），以便用于下游的自动检索和验证系统。在这项工作中，我们通过利用其引用的来源和语言模型，研究从事实核查文章中自动提取证据的可行性。我们专注于三个研究问题：

- • RQ1（可寻址性）：文章内的超链接在多大程度上可以作为识别支持或反驳主张的核心证据的可靠代理？
- • RQ2（可移植性）：将前提重写为独立的、**脱离上下文的**陈述是否提高了它们在检索和自动验证任务中的有用性？
- • RQ3（鲁棒性）：发现结果在不同的评估设置和任务粒度下是否一致？

我们的贡献有四方面：(i) 我们策划了 **PrimeFacts**，这是一个包含 13,106 篇 PolitiFact 事实核查的资源，具有结构化的文章元数据和 49,718 个作为证据锚点的文章内超链接。(ii) 我们引入了一种三模式提取框架：锚定逐字句子、基于 LLM 的脱离上下文转换为独立前提，以及带有来源归属的自包含前提的开放提取。我们还定义了一个轻量级的证据类型本体以刻画前提内容。(iii) 我们提出了一种评估脱离上下文忠实度的评分方法，结合了前向文本蕴含和非对称词法重叠惩罚，并进行了有针对性的人类研究以评估自包含性和证据分类。(iv) 我们在两个下游任务——跨文章检索和零样本主张验证——上评估了**证据复用**，涵盖六个指令微调的 LLM 和两种裁决粒度。

参见图注
**图 2**：将事实核查转化为精炼、脱离上下文证据的提取流程。

## 2. 相关工作

自动事实核查（AFC）研究旨在通过检索证据和预测裁决来验证主张，通常还会生成文本解释 [Guo et al. (2022)](https://arxiv.org/html/2605.06006#bib.bib19)。AFC 中持续存在的挑战是缺乏包含现实世界主张与标准证据及详细推理配对的训练数据。许多现有数据集使用人工构建的主张或来自维基百科的证据，例如 FEVER [Thorne et al. (2018)](https://arxiv.org/html/2605.06006#bib.bib35) 及其扩展 [Schuster et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib34); [Aly et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib4); [Ma et al. (2024)](https://arxiv.org/html/2605.06006#bib.bib26)，或者考虑事实核查文章中引用的页面作为证据 [Augenstein et al. (2019)](https://arxiv.org/html/2605.06006#bib.bib5); [Khan et al. (2022)](https://arxiv.org/html/2605.06006#bib.bib23)。其他数据集通过依赖启发式提取来针对事实核查理由 [Alhindi et al. (2018)](https://arxiv.org/html/2605.06006#bib.bib3); [Zeng and Gao (2024)](https://arxiv.org/html/2605.06006#bib.bib39)，或因手动注释限制其规模 [Ostrowski et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib31); [Wang et al. (2025b)](https://arxiv.org/html/2605.06006#bib.bib37)。这些方法并没有隔离或量化记者整合到文章推理中的承载证据的句子。相反，它们摄入整个引用页面或将事实核查本身视为证据。依赖完整的事实核查文章会引入噪声并降低系统有效性 [Samarinase et al. (2021)](https://arxiv.org/html/2605.06006#bib.bib40); [Xing et al. (2024)](https://arxiv.org/html/2605.06006#bib.bib41); [Deng et al. (2025)](https://arxiv.org/html/2605.06006#bib.bib42); [Sauchuk et al. (2022)](https://arxiv.org/html/2605.06006#bib.bib43)，而不完整或无法访问的来源以及链接腐烂进一步破坏了自动证据检索 [Cazzamatta (2025a)](https://arxiv.org/html/2605.06006#bib.bib44); [Warren et al. (2025)](https://arxiv.org/html/2605.06006#bib.bib45); [Kavtaradze (2024)](https://arxiv.org/html/2605.06006#bib.bib46); [Zhou et al. (2015)](https://arxiv.org/html/2605.06006#bib.bib47); [Klein et al. (2014)](https://arxiv.org/html/2605.06006#bib.bib48)。**PrimeFacts** 通过关注记者已通过文内超链接和文章末尾参考进行锚定的事实核查文章中的证据单元来解决这一缺口。我们通过这些锚定跨度促进精确的可寻址性，并通过将其重构为独立于上下文的前提来增强可移植性。我们的开放提取方法共享了 [Chen et al. (2024)](https://arxiv.org/html/2605.06006#bib.bib1) 的核心见解，即将文本分解为原子的、自包含的命题可以提高检索效率，但在范围和约束上有所不同。[Chen et al. (2024)](https://arxiv.org/html/2605.06006#bib.bib1) 将命题定义为最小的、自包含的事实片段，并详尽地分解段落，使得所有命题共同恢复完整的段落语义，使用从 GPT-4 输出蒸馏的紧凑模型。相比之下，我们的方法对事实核查文章执行基于归属的选择性提取，受限于文章的锚点数量，并针对关键证据而非每个原子事实。最近关于维护可编辑知识库的工作 [Li et al. (2025)](https://arxiv.org/html/2605.06006#bib.bib2) 进一步激励了模块化、可更新证据单元的提取，这一目标得到了我们脱离上下文前提的直接支持。

## 3. 数据收集

**PrimeFacts** 中的每条记录对应于英文 PolitiFact<sup>1</sup><sup>1</sup>https://www.politifact.com/archive 的一篇文章，从按时间顺序和主题索引的档案中收集，截至 2025 年 9 月。我们仅保留针对基于文本的主张的事实核查文章，通过 URL 和标记模式识别，以保持内部效度和一致的文本结构。最终数据集包含 13,106 篇由 661 名独立记者撰写的事实核查文章，每篇文章都包含至少一个指向外部来源的文内超链接。对于每篇文章，我们存储一个结构化表示，将规范化的 PolitiFact URL 与其元数据链接，包括爬取时间戳、编辑标签、主张信息、作者和演讲者元数据，以及引用的来源的结构化列表，以确保来源追溯性和可复现性。发布的资源版本<sup>2</sup><sup>2</sup>https://huggingface.co/datasets/xplainlp/prime-facts 仅包含衍生的元数据和注释。出于版权原因，原始事实核查文章文本不再分发。该资源组织为三个主要部分：(i) **文章元数据**，包含文章来源、裁决标签、主张陈述和引用材料；(ii) **实体元数据**，为作者和演讲者提供统一的查找配置文件，以在文章间保持一致的归属；以及 (iii) **注释**，将每个主张与其提取的锚定语句链接，并将其与相应的文章结构和元数据对齐。所有组件都通过其规范 URL 交叉引用。配套的统计文件报告了聚合分布，以支持分层抽样和下游评估。除了聚合原始的 PolitiFact 元数据外，**PrimeFacts** 还贡献了多个处理步骤，构成了一个独立的资源：源自网页浏览器渲染的布局感知文本规范化 [Weichselbraun (2021)](https://arxiv.org/html/2605.06006#bib.bib60)，带有稳定标识符的句子级分割，超链接提取并与作者提供的来源列表交叉引用，系统性的标签泄漏过滤以防止裁决污染，以及作为结构化证据的脱离上下文前提注释。这些转换共同将非结构化的事实核查文章转变为支持检索增强验证和比较分析的可查询证据库。

## 4. 方法论

在描述框架之前，我们澄清本文中使用的关键术语。**锚点**是指标记引用外部来源的句子内的文章超链接。**来源**是指由锚点链接的外部文档或页面（例如，政府报告或数据集）。**证据**广义上指支持或反驳主张的任何信息。**前提**是指从文章衍生的脱离上下文的、自包含的证据陈述，适合在原语境之外复用。此后我们将一致使用这些术语。我们提出了一个从事实核查文章中提取细粒度证据并评估其在下游验证设置中有用性的框架。**图 2** 给出了概览。该框架包括三种证据模式：超链接锚定句子、其脱离上下文的变体，以及通过开放提取获得的前提。我们在跨文章检索和主张验证中评估所得的证据表示，并进一步评估其对原始文章内容的忠实度。

### 4.1. 证据提取

每篇文章都被分割