PASTA：一种用于LLM知识更新的释义与自训练方法

# PASTA：面向LLM知识更新的释义与自训练方法  
来源：https://arxiv.org/html/2606.28898  
Daisuke Kawahara  
早稻田大学  
dkw@waseda\.jp  

###### 摘要  

对预训练大语言模型（LLMs）进行知识更新仍然是一个重要挑战。虽然持续训练为实现知识更新提供了一条途径，但它仍然存在显著的技术难点。此外，LLMs 在面对具体事实信息（如新闻文章）的相关问题时，常常难以准确作答——这一能力限制在学界已被广泛认知。本文提出 PASTA，一个简单但强大的框架，旨在将新闻文章中的细粒度事实信息作为新知识整合到 LLMs 中，核心目标是构建能够准确回答这些知识相关问题的专用模型。我们的框架结合了数据增强、问答生成以及一种新颖的自学习 DPO 过程，该过程同时实现了知识覆盖和幻觉抑制。通过系统分析学习参数和数据配置，我们提供了有效知识更新的洞见。在使用基模型知识截止日期后发布的网络文章进行的实验评估中，PASTA 在保持通用语言能力的同时，准确率从 0.02 显著提升至 0.82，展示了其在构建领域专用 LLM 方面的有效性。  

## 1 引言  

对预训练大语言模型（LLMs）进行知识更新，并训练它们依据这些事实来准确作答，已被公认为一项重大挑战[25, 11]。尽管诸如检索增强生成（RAG）[13]等方法已被研究用于向语言模型提供新知识，但本文聚焦于直接进行内部知识更新的方法，旨在构建能够正确回答新整合信息相关问题的 LLM。通过我们提出的方法，我们证明了一个最初在回答未知知识相关问题中仅有 0.02 准确率的 LLM，在知识更新后可以达到高达 0.82 的准确率。  

先前的研究表明，多样化的训练数据与通过探针 LLM 内部表征来准确检索知识密切相关[1]。然而，这些研究仅考察了从零训练相对较小模型[19]的情形，并未充分探索以大型语言模型作为初始参数进行额外训练的情况。另一方面，也有方法通过使用大规模语料库进行额外训练来构建特定任务（如编程）的专用 LLM[21]。这些方法补充的是相对广泛且静态的知识（如编程语言、算法等），但在开发能够学习并准确回答关于特定细粒度事实信息（如新闻文章）的方法方面，仍存在挑战。  

本文提出 PASTA，一个简单但强大的框架，通过在预训练大语言模型上进行持续学习，实现对细粒度事实信息（如新闻文章）的知识更新。尽管每个独立组件都基于已有技术，但它们的系统组合创造了一种新颖的方法，显著优于基线方法。PASTA 设计的简洁性使其既易于实现又具有理论可解释性，同时在知识更新任务中展现出显著的性能提升。受近期自学习方法[14, 26]的启发，我们整合了以下四个步骤：（1）数据增强[1,2]，（2）问答（QA）数据生成[14]，（3）自偏好优化[26]，以及（4）迭代学习[14]。我们呈现了一个重构的额外学习流程，将这些组件融合在一起，并通过实验证实新知识可以逐步被纳入。  

## 2 相关工作  

### 2.1 偏好优化  

用于优化 LLM 以对齐人类偏好的代表性方法包括基于人类反馈的强化学习（RLHF）[17,3]和直接偏好优化（DPO）[20]。这两种方法都采用相同的通用方式：向模型呈现两个输出候选，并将其标注为“首选”或“拒绝”。然而，RLHF 涉及先训练奖励模型再进行强化学习，而 DPO 则直接优化参数，无需显式训练奖励模型。  

### 2.2 自学习  

大规模人工标注成本高昂，且当包含敏感用户信息时还会引发隐私问题。因此，由模型自身生成并评估数据以进行迭代学习的自学习方法受到了广泛关注。例如，Li 等人[14]通过自动生成多样化的 QA 数据用于再训练，报告了模型性能的提升。Yuan 等人[26]在 DPO 框架[20]内提出了“self-DPO 学习”，即模型通过区分自身生成的高分与低分响应来进行学习。Wang 等人[24]引入了让 LLM 自主进行成对比较的机制。Lee 等人[12]探索了使用 LLM 作为人工标注的部分替代。另一方面，Madaan 等人[15]和 Wang 等人[23]指出，当模型反复仅使用自生成数据进行再训练时，在某些条件下性能可能会下降，这凸显了适当数据多样性与验证的重要性。  

### 2.3 数据增强  

虽然大量数据对提升 LLM 性能有效，但引入数据多样性同样有益，而不仅仅依赖简单规模扩展。Allen-Zhu 和 Li[1]揭示，为训练生成多样化的释义可以更好地整合新知识，并且使用相对较高的 LoRA[10]秩（r=128）也能提升性能。Brown 等人[2]也报告称，针对单一数据创建多个变体并进行重复训练，能显著提高推理准确率。  

## 3 所提方法  

请参见图注  
图 1：PASTA 框架架构。CPT：持续预训练，SFT：监督微调，DPO：PASTA 专用的直接偏好优化，包含目标 LLM 推理（Gen）。  

本文提出一种释义与自训练方法（PASTA），作为将新知识有效整合到预训练大语言模型中的框架。PASTA 由四个关键组件构成：（1）通过释义进行数据增强，（2）问答数据生成，（3）自偏好优化，以及（4）基于大语言模型基本开发原理的迭代学习。如图 1 所示，它形成了一个集成框架，通过迭代增强 LLM 准确回答关于通过知识更新所整合的新知识的能力。  

### 3.1 设计动机  

#### 通过释义使训练数据多样化  

LLM 具有结构冗余的架构，单一意义并非仅由特定参数表示，而是由模型中的多个参数集共同表示[8,6]。因此，在整合新知识时，如果简单重复相同文本，参数更新可能会集中在特定区域，无法更新冗余结构中的所有必要参数，从而导致知识更新效果不佳。我们假设，使用目标文本的多样化释义（保持相同含义但表达方式不同）进行学习，将能更新冗余结构中所有必要的参数，从而使 LLM 的知识更新更加有效。  

#### 扩展问答数量  

在对 LLM 进行知识更新时，不仅存在直接更新知识本身的困难，还面临将更新传播到相关知识的挑战。例如，当一位音乐艺术家发布新专辑时，其已发布专辑的总数也会增加[9]。为应对这些挑战，我们需要从多个角度学习关于新知识及相关主题的多样化问题答案。我们假设，扩展此类问答数量将提升知识更新的准确性。  

#### 使用 DPO 抑制幻觉  

LLM 有时会产生幻觉，将不存在的信息当作事实呈现[5]。尤其是对于新闻文章这类细粒度事实信息，同一问题的正确答案可能随时间变化（例如，总统的名字因时间段而异），存在使用更新前的旧知识生成错误答案的风险。因此，我们假设：通过使用 DPO，将基于 LLM 固有知识（旧信息）的输出标记为“拒绝”响应，将新添加的知识标记为“首选”响应，可以抑制不准确的输出。  

#### 预训练 + SFT + DPO 框架  

在 LLM 开发中，广泛采用的三阶段学习流水线包括：（1）预训练，（2）SFT，以及（3）最终对齐人类偏好（使用 RLHF 或 DPO 等方法）[17]。在本工作中，我们的目标是将上述假设整合到基于该三阶段学习流水线的系统中，以实现有效的知识更新并构建能够准确回答相关内容的 LLM。  

### 3.2 PASTA 框架的形式化  

为形式化 PASTA 框架，我们首先引入基本符号。将新知识（如新闻文章）的集合记为 \( \mathcal{C} = \{c_1, c_2, \dots, c_K\} \)，其中 \( K \) 是上下文（文章）总数。对于每篇文章 \( c_k \)（其中 \( k \in \{1,2,\dots,K\} \) 是文章索引），我们将其连同指令提示（见附录 I.1）提供给生成器 LLM \( G \)，以生成 \( P \) 个释义变体。这些释义的集合记为 \( \mathcal{C}_k^{\text{para},i} = \{c_{k,1}^{\text{para},i}, c_{k,2}^{\text{para},i}, \dots, c_{k,P}^{\text{para},i}\} \)，本文中称为**增强上下文**。下标 \( i \) 表示迭代次数，上标“para”表示上下文已被释义。完整释义集定义为 \( \mathcal{C}^{\text{para},i} = \{c_{k,p}^{\text{para},i} \mid k \in \{1,\dots,K\}, p \in \{1,\dots,P\}\} \)，并用于**持续预训练（CPT）**。  

此外，我们从每篇文章生成 \( Q \) 个问答对，表示为 \( \mathcal{Q}_k^i = \{(q_{k,j}^i, a_{k,j}^{i,\text{gold}})\}_{j=1}^Q \)。这里 \( q_{k,j}^i \) 是问题，\( a_{k,j}^{i,\text{gold}} \) 是正确答案。这些问答对通过将文章 \( c_k \) 和指令提示（见附录 I.2）提供给生成器 LLM \( G \) 生成，因此 \( a_{k,j}^{i,\text{gold}} \) 被标注为“gold”，表示基于文章内容的高精度答案。生成大量问答对也会导致相似 QA 对增加，预期能产生与多样化释义等效的效果。按此方式生成的完整问答对集合 \( \mathcal{Q}^i = \{(q_{k,j}^i, a_{k,j}^{i,\text{gold}}) \mid k \in \{1,\dots,K\}, j \in \{1,\dots,Q\}\} \)，本文中称为**上下文衍生 QA**。该问答数据集既用于监督微调（SFT）和直接偏好优化（DPO）学习阶段，也通过采样用于每个学习阶段的评估。此外，在每个迭代结束时，会生成新的上下文衍生 QA，以评估泛化性能并用作下一迭代的训练数据。  

将待更新的目标 LLM 记为 \( M_\theta \)，其中 \( \theta \) 表示模型参数。迭代 \( i \) 结束时的模型参数记为 \( \theta^i \)。各学习阶段使用的损失函数分别为 \( \mathcal{L}_{\text{CPT}} \)、\( \mathcal{L}_{\text{SFT}} \) 和 \( \mathcal{L}_{\text{DPO}} \)。评估样本数量为 \( S \)，总迭代次数为 \( T \)。  

**算法 1 PASTA：主学习与评估过程**  

1：// 数据生成阶段准备 \( \mathcal{C}^{\text{para},i} \)（增强上下文）和 \( \mathcal{Q}^i \)（上下文衍生 QA）  
2：\( \mathcal{Q}^i_{\text{iter\_sample}} \leftarrow \text{SampleQA}(\mathcal{Q}^i, S) \)  ▷ 用于评估的样本  
3：**for** \( i = 1 \) **to** \( T \) **do** // 每轮迭代的学习过程  
4：     \( \Delta\theta_{\text{CPT}}^i \leftarrow \underset{\Delta\theta}{\arg\min} \sum_{c^{\text{para}} \in \mathcal{C}^{\text{para},i}} \mathcal{L}_{\text{CPT}}(M_{\theta^{i-1}+\Delta\theta}, c^{\text{para}}) \)  ▷ LoRA 训练  
5：     \( \theta_{\text{CPT}}^i \leftarrow \theta^{i-1} + \Delta\theta_{\text{CPT}}^i \)；\( \text{acc}_{\text{CPT}}^i \leftarrow \text{Evaluate}(M_{\theta_{\text{CPT}}^i}, \mathcal{Q}^i_{\text{iter\_sample}}) \)  
6：     \( \Delta\theta_{\text{SFT}}^i \leftarrow \underset{\Delta\theta}{\arg\min} \sum_{(q, a^{\text{gold}}) \in \mathcal{Q}^i} \mathcal{L}_{\text{SFT}}(M_{\theta_{\text{CPT}}^i+\Delta\theta}, q, a^{\text{gold}}) \)  ▷ LoRA 训练  
7：     \( \theta_{\text{SFT}}^i \leftarrow \theta_{\text{CPT}}^i + \Delta\theta_{\text{SFT}}^i \)；\( \text{acc}_{\text{SFT}}^i \leftarrow \text{Evaluate}(M_{\theta_{\text{SFT}}^i}, \mathcal{Q}^i_{\text{iter\_sample}}) \)  
8：     \( \Delta\theta_{\text{DPO}}^i \leftarrow \underset{\Delta\theta}{\arg\min} \sum_{(q, a^{\text{gold}}) \in \mathcal{Q}^i} \left[ \mathcal{L}_{\text{DPO}}(M_{\theta_{\text{SFT}}^i+\Delta\theta}, q, a^{\text{gold}}, a^{\text{rejected}}) \right] \)  ▷ “拒绝”响应由 \( M_{\theta_{\text{CPT}}^i} \) 生成  
9：     \( \theta^i \leftarrow \theta_{\text{SFT}}^i + \Delta\theta_{\text{DPO}}^i \)  
10：    **end for**  

（注：为保持与原文档一致，翻译中保留了数学符号和算法结构，仅将注释转化为中文。原文注释仅为示例，后续未完整呈现，此处按需格式化。）