无知识语言模型：抑制参数化回忆以实现基于证据的语言建模

# 抑制参数化记忆以支持基于证据的语言建模  
来源：https://arxiv.org/html/2607.12831  

Roi Cohen HPI / 波茨坦大学 roi\.cohen@hpi\.de  
Yvan Carré 非洲数学科学研究所 yvan\.carre@polymtl\.ca  
Nick Lechtenbörger HPI / 波茨坦大学 nick\.lechtenboerger@hpi\.de  
Hendrik Droste HPI / 波茨坦大学 hendrik\.droste@hpi\.de  
Lucas Kerschke HPI / 波茨坦大学 lucas\.kerschke@hpi\.de  
Russa Biswas 奥尔堡大学计算机科学系，哥本哈根，丹麦 rubi@cs\.aau\.dk  
Gerard de Melo HPI / 波茨坦大学 gerard\.demelo@hpi\.de  
Jan Buys 开普敦大学计算机科学系 jbuys@cs\.uct\.ac\.za  

###### 摘要  

语言模型在其参数中编码了大量事实知识，当这些知识过时、不完整或与所提供的上下文不一致时，可能导致不可靠的行为。在这项工作中，我们研究修改预训练信号是否能系统地使模型从参数化记忆转向基于证据的推理。我们引入了知识缺失语言模型（KLLMs），这是一种根本不同的LLM认知训练范式，该模型在命名实体被匿名化的语料库上进行预训练，从而消除了实体链接事实监督的主要通道。这种干预显著降低了闭卷事实回忆能力，同时通常能提升在提供相关上下文的任务上的表现。在多种模型规模下，KLLMs在基于上下文的问答、事实验证和幻觉检测基准测试中始终优于匹配的基线模型。关键在于，在证据不完美的检索接地场景中，KLLMs表现出更强的鲁棒性，相比标准语言模型实现了高达20–25%的相对提升。此外，它们还展现出更好的校准能力，改进了ECE、Brier分数和AUROC，以及更可靠的弃权行为。我们的结果表明，在预训练期间抑制实体链接监督会引发认知行为的转变：KLLMs更少依赖参数化知识，更多依赖外部证据，从而在现实条件下提高了可靠性。这表明，通过提供对证据更敏感的基础模型，预训练阶段对知识获取的控制可以补充检索增强和基于工具的系统。  

## 1 引言  

参见图注图1：知识缺失语言模型（KLLM）的训练和推理流程  

大型语言模型（LLMs）的大部分能力来源于大规模预训练期间获取的参数化知识[Petroni et al., 2019 (https://arxiv.org/html/2607.12831#bib.bib12); Brown et al., 2020 (https://arxiv.org/html/2607.12831#bib.bib13)]。虽然这使得模型在各项任务上表现强劲，但也导致了幻觉——生成看似合理但缺乏依据的内容——尤其是在事实准确性至关重要的场景中[Maynez et al., 2020 (https://arxiv.org/html/2607.12831#bib.bib17); Kaddour et al., 2023 (https://arxiv.org/html/2607.12831#bib.bib20); Huang et al., 2024 (https://arxiv.org/html/2607.12831#bib.bib21)]。一种常见的缓解策略是通过外部证据来接地生成，例如通过检索增强生成（RAG）[Lewis et al., 2020 (https://arxiv.org/html/2607.12831#bib.bib59); Guu et al., 2020 (https://arxiv.org/html/2607.12831#bib.bib61); Izacard and Grave, 2021 (https://arxiv.org/html/2607.12831#bib.bib62)]。然而，标准LLMs仍然被预训练来记忆和复现大量事实信息，这造成了一种不匹配：在推理时，模型应依赖提供的上下文，但其预训练鼓励参数化记忆，导致它们往往无法充分利用可用证据[Liu et al., 2024 (https://arxiv.org/html/2607.12831#bib.bib63); Shi et al., 2023 (https://arxiv.org/html/2607.12831#bib.bib64)]。在这项工作中，我们从根源上解决这个矛盾，提出一个问题：  

*我们能否修改预训练信号，使得模型更少依赖参数化知识，更多依赖外部证据，同时不牺牲推理能力？*  

为此，我们引入了**知识缺失语言模型**（KLLMs），该模型在命名实体被系统匿名化的语料库上进行预训练。这消除了实体链接知识监督的主要通道，同时保留了数据的结构和语言特性。结果是一种简单的预训练干预，它施加了偏向于基于证据推理的归纳偏差，而无需更改模型架构。  

我们的实证发现揭示了一致的模式。首先，KLLMs在闭卷事实回忆方面表现出近乎完全的崩溃，确认了参数化知识的强烈抑制。其次，当相关信息作为上下文提供时，KLLMs在事实性QA、事实验证和常识推理上匹配或超越标准LLMs。第三，在检索接地设置中，KLLMs获得了显著提升（相对高达20–25%），尤其是在证据不完整或有噪声的情况下，并表现出更可靠的弃权行为。最后，KLLMs在多个指标上展示了改进的校准能力，表明置信度与正确性之间更好的对齐。  

这些结果表明，预训练目标从根本上塑造语言模型的认知行为：抑制实体链接监督鼓励依赖外部证据，同时保留核心推理能力。因此，KLLMs非常适合补充检索增强和基于工具的系统，这些系统对不完美证据的鲁棒性和可靠的 uncertainty 估计至关重要。  

我们将训练规模扩展到200亿tokens，并对匿名化强度、持续预训练和推理时匿名化进行了消融实验。观察到的趋势保持稳定，支持匿名化是驱动该效果的关键机制。总体而言，我们进行了一项受控研究，探讨修改预训练信号如何重塑参数化知识与基于证据推理之间的平衡，并引入了一种简单有效的方法来提高语言模型的可靠性。  

## 2 知识缺失语言建模  

为了开发一个最小化保留真实世界事实知识的LLM，我们提出预处理预训练数据，以显著降低模型从数据中记忆特定事实知识的倾向。具体来说，我们通过将命名实体的提及替换为占位符令牌来匿名化它们，防止模型学习将任何事实信息与人物、地点或事件等实体名称关联起来。我们在这种预处理数据上从头开始训练模型，而不修改模型架构。在推理过程中，采用相同的匿名化程序来匿名化查询和上下文（如适用），并将实体名称作为后处理步骤恢复。虽然一些早期的阅读理解研究[Hermann et al., 2015 (https://arxiv.org/html/2607.12831#bib.bib26)]在监督训练期间采用了类似的实体匿名化方案，但我们未发现先前的工作将其应用于预训练，并且明确目标是预训练一个缺乏实体特定事实知识的模型。  

图1 (https://arxiv.org/html/2607.12831#S1.F1)提供了我们的预训练和推理流程示例。  

### 2.1 语料库匿名化  

#### 命名实体识别  

有效匿名化预训练数据的第一步是识别文本中存在的所有命名实体。我们采用来自Flair框架[Akbik et al., 2019 (https://arxiv.org/html/2607.12831#bib.bib1)]的最先进的命名实体识别（NER）模型。具体来说，我们使用基于XLM-R嵌入的大型18类OntoNotes模型，111https://huggingface.co/flair/ner-english-ontonotes-large 该模型在OntoNotes上报告了90.0%的F1分数[Schweter and Akbik, 2020 (https://arxiv.org/html/2607.12831#bib.bib2)]。我们使用OntoNotes更细粒度的实体标签集[Hovy et al., 2006 (https://arxiv.org/html/2607.12831#bib.bib3); Weischedel et al., 2011a (https://arxiv.org/html/2607.12831#bib.bib4)]，以便更好地控制哪些类型的实体提及被匿名化，并能够基于实体类型构建更具信息性的占位符令牌。222参见附录B (https://arxiv.org/html/2607.12831#A2)获取检测到的实体类型列表。  

在这项工作中，我们只匿名化对应于命名实体类型的令牌，而不匿名化NER模型也能识别的数值或时间值。这是基于以下推测：数值和时间值可能对于深入理解文本上下文至关重要。保留它们可以确保匿名化文本保持连贯、可读且语义上有意义，这对于有效训练模型而不引入偏差至关重要。  

NER模型并非完美的召回；在我们的预训练语料库中，约有10-13%的实体提及未被匿名化。333基于对预训练语料库中50个随机抽样文档的手动检查，我们估计NER召回率约为87%。然而，保留的实体更有可能是罕见的长尾实体名称，我们假设这对应于实体链接知识中更小的部分，而更激进的匿名化会损害句法完整性。实际上，在所有模型规模下，闭卷QA准确率仍接近随机水平（§4.4 (https://arxiv.org/html/2607.12831#S4.SS4)，表8 (https://arxiv.org/html/2607.12831#S4.T8)），这经验性地验证了这种匿名化水平成功地抑制了参数化知识。  

#### 匿名化策略  

我们对数据集中的每个文档应用匿名化程序，将所有识别的实体替换为格式为`EntX`的占位符，其中`Ent`表示实体类型，`X`是在特定文档内分配的唯一标识符（参见附录B (https://arxiv.org/html/2607.12831#A2)）。这种策略保留了原始句子结构，使模型能够辨别一般的语言模式和关系，而不会受到具体现实世界实例的偏差影响。通过单独处理每个文档，我们确保实体占位符在文档内是唯一的，并且对于同一实体的重复提及保持一致。这种一致性有助于保持文本的连贯性和逻辑流畅性，同时仍然抽象掉事实细节，从而保留通用知识的底层结构，而不将模型暴露于具体事实。然而，我们不做指代消解，因此同一实体的不同命名提及（例如，“巴拉克·奥巴马”和“奥巴马总统”）通常会被分配不同的令牌。  

图1 (https://arxiv.org/html/2607.12831#S1.F1)提供了文本在应用我们的匿名化策略之前和之后的示例。  

这种匿名化策略限制了模型从文本中获取特定事实信息的能力，因为大多数事实知识陈述都基于一个或多个实体名称。然而，除了由于NER错误而未被匿名化的一小部分名称外，某些实体可以通过描述性引用被唯一识别，这可能导致实体特定知识的泄露。例如，句子“世界上最具影响力国家的第44任总统出生在该国的一个岛屿州”仍然编码了隐式的实体知识，尽管我们的匿名化程序旨在去除此类信息。然而，这些情况再次只占事实陈述的一小部分。另一个重要的限制涉及因使用性别化指代而产生的性别信息。用“他”或“她”等代词指代实体隐式地揭示了性别信息，并可能导致模型内化与性别相关的偏差。尽管如此，我们选择不匿名化代词指代，因为它们是我们希望模型捕捉的语言和交流的基本组成部分。  

### 2.2 预训练过程  

知识缺失语言模型在大型、多样的语料库上进行预训练，类似于标准语言模型，唯一的区别是应用了上述的匿名化策略，该策略限制了模型直接接触实体相关知识的程度。这确保了模型学习一般语言模式，同时最小化对记忆的实体特定信息的依赖。我们使用标准语言建模目标（预测下一个令牌）来训练自回归Transformer语言模型，但该方法不限于任何特定的模型架构。KLLM的tokenizer在相同的匿名化语料库上进行训练，以确保一致性。在微调和推理过程中，应用相同的匿名化策略。这确保了模型学习如何通过其占位符令牌从给定文本中收集有关实体的信息并推理实体，而不依赖记忆。  

## 3 实验  

我们的实验旨在隔离预训练期间抑制实体链接知识对参数化记忆、上下文推理和可靠性的影响。我们在匹配的架构、数据和训练预算下，对标准语言模型（SLMs）和知识缺失语言模型（KLLMs）进行受控比较。444我们预训练的KLLMs、预处理和评估脚本将在发表后发布。  

#### 预训练数据：25亿tokens  

我们在多个数据规模上预训练模型。最小的数据设置包含两个互补的英文语料库。*CNN/DailyMail*数据集[Hermann et al., 2015 (https://arxiv.org/html/2607.12831#bib.bib26)]（2.72亿tokens）包含涵盖政治、商业、体育和技术等多个领域的新闻文章，提供了语言丰富且命名实体密集的文本。相比之下，英文*Wikipedia*[Bridge, 2001 (https://arxiv.org/html/2607.12831#bib.bib27)]（22亿tokens）通过结构化的说明性文本提供了广泛的世界知识覆盖。Wikipedia规模更大且更多样化，而CNN/DailyMail在新闻导向领域提供了更密集的实体提及。在预处理期间，我们移除非UTF-8字符以减少tokenizer伪影。语料库被拼接并使用第2节 (https://arxiv.org/html/2607.12831#S2)中描述的程序进行匿名化。  

#### 预训练数据：100亿–200亿tokens  

为了评估可扩展性，我们构建了更大的预训练语料库，分别包含100亿和200亿tokens，源自公开可用的HuggingFaceTB/smollm-corpus。该数据集是CommonCrawl、Wikipedia、Books、News和类WebText来源的精选混合。为了确保与25亿tokens设置的比较性，我们应用相同的预处理和匿名化流水线，并均匀采样分片直到达到所需的token数量，保持领域比例。生成的语料库提供了一个受控设置，用于评估匿名化如何与增加的数据规模相互作用。  

#### 分词  

我们在预训练语料库上训练BPE分词器[Sennrich et al., 2016 (https://arxiv.org/html/2607.12831#bib.bib34)]。匿名化标签（例如`PERSON184`）作为保留令牌包含在内，以防止碎片化。考虑到与标准LLM预训练相比，我们的训练数据规模相对较小，我们使用30k令牌的词汇量。KLLMs和SLM基线使用相同的分词器配置，以确保可比性。  

#### 模型预训练  

我们使用LLaMA架构家族[Touvron et al., 2023 (https://arxiv.org/html/2607.12831#bib.bib23); Dubey et al., 2024 (https://arxiv.org/html/2607.12831#bib.bib24)]，具体是Llama-3.2-1B，从头开始预训练模型。