事实性观点能否在大型语言模型中被编辑（操纵）？

# 在大型语言模型中，事实性观点可以被编辑（操纵）吗？
来源：https://arxiv.org/html/2606.03096
Yuanpu Cao, Ziyi Yin, Fenglong Ma, Jinghui Chen 宾夕法尼亚州立大学 \{ymc5533,ziyiyin,fenglong,jzc5917\}@psu\.edu

###### 摘要

大型语言模型 (LLMs) 正越来越多地集成到各个领域，这使得知识编辑技术变得至关重要，但也可能带来危害。当前的编辑方法主要针对原子事实，忽视了操纵“事实性观点”的显著风险，例如，公众人物在社会问题上记录在案的立场。这种操纵可能会重塑公众形象、影响选举、改变社会观点。为了系统评估这一威胁，我们引入了FactualOpinionEditing with Evidence (FOE) 基准，它包含 261 位公众人物、19 个问题类别和 2,178 条完整的意见记录。我们的评估表明，当前的编辑技术在处理事实性观点时效果不佳，通常只能实现表面改变，而无法保持编辑后的观点与模型生成的支撑证据之间的一致性。为解决此限制，我们进一步提出了一种简单有效的自生成证据对齐方法，该方法无需依赖显式指令即可实现观点-证据对齐。我们的基准和方法共同为理解 LLM 中事实性观点编辑的新兴安全影响奠定了基础。

事实性观点能否在大型语言模型中被编辑（操纵）？

Yuanpu Cao, Ziyi Yin, Fenglong Ma, Jinghui Chen
宾夕法尼亚州立大学
\{ymc5533,ziyiyin,fenglong,jzc5917\}@psu\.edu

## 1 引言

随着参数规模的持续增长和训练语料库的扩大，大型语言模型 (LLMs) 在通用自然语言处理能力方面取得了实质性提升 (OpenAI, 2023 (https://arxiv.org/html/2606.03096#bib.bib19); Grattafiori et al., 2024 (https://arxiv.org/html/2606.03096#bib.bib7))，促进了它们在各个领域的广泛部署 (Thirunavukarasu et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib26); Wu et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib32); Kasneci et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib11))。为了有效更新嵌入在 LLMs 中的知识，

参见图注

图 1：蓝色表示编辑前的 LLM 响应，橙色表示应用 ROME 编辑后的响应，绿色表示应用基于证据对齐的观点编辑的 ROME (ROME EA) 后的响应。
已引入了多种 LLM 编辑方法。其中，“定位-然后-编辑”范式已成为最流行的方法之一。具体来说，这些方法首先定位与期望编辑相关的目标参数，然后进行精确修改 (Meng et al., 2022a (https://arxiv.org/html/2606.03096#bib.bib16), b (https://arxiv.org/html/2606.03096#bib.bib17); Fang et al., 2025 (https://arxiv.org/html/2606.03096#bib.bib4))。虽然这些方法提供了相当大的实际优势，但越来越多的研究指出了它们可能引入的安全漏洞。例如，Chen et al. (https://arxiv.org/html/2606.03096#bib.bib2) 已经证明，诸如 FT-M (Zhang et al., 2024 (https://arxiv.org/html/2606.03096#bib.bib34)) 和 ROME (Meng et al., 2022a (https://arxiv.org/html/2606.03096#bib.bib16)) 等知识编辑方法可以被利用来绕过安全对齐并向模型中注入错误信息。

然而，现有的基准主要关注与原子事实相关的编辑目标，例如定义性和常识性知识，而相对较少关注事实性观点。我们将其定义如下：

**事实性观点**：描述公众人物在重大社会和政治问题上可验证立场的事实陈述（例如，“乔·拜登支持优先发展绿色能源”）。

在 LLM 的知识库中任意操纵此类立场的能力，特别是针对关键议题上有影响力的人物，可能会带来严重的社会风险，包括恶意重塑公众形象、影响选举和政策偏好，甚至影响整个社会的观点。因此，本工作聚焦于一个关键问题：**事实性观点能否在 LLMs 中被编辑（或操纵）？**

与原子事实不同，事实性观点并非孤立存在，而是依赖于支撑证据，例如公开声明或行动。图 1 (https://arxiv.org/html/2606.03096#S1.F1)（蓝色框）说明了这些区别如何体现在 LLMs 对相关查询的响应中：与对原子事实性问题通常给出的简洁答案不同，LLMs 在回答观点相关问题时，往往会自然地提供实质性证据来支持其观点。显然，事实性观点基于证据的特性给编辑方法和评估都带来了额外的挑战，特别是在确定编辑后的模型是否保持其表达的事实性观点与相应支撑证据之间的一致性的问题上。

为了解决在理解 LLM 观点编辑风险方面的这一关键空白，我们首先构建了一个新颖的基准，即 Factual Opinion Editing with Evidence (FOE)，以评估当前 LLM 编辑方法在操纵事实性观点方面的有效性。具体来说，我们从 OnTheIssues¹ 获取数据，构建了 Factual Opinions 数据集，该数据集反映了现实世界的观点，涵盖 261 位公众人物、19 个不同的问题类别，以及总共 2,178 条完整的意见记录，涉及广泛的重要议题。基于此语料库，我们定义了反事实编辑目标，并设计了 9 类评估问题，以评估编辑性能的四个方面：**有效性**、**泛化性**、**持久性**和**局部性**。在评估了 8 种代表性编辑方法后，我们观察到这些方法难以全面改变事实性观点，往往只能实现表面修改，例如生成与目标观点相矛盾的证据，或者无法提供任何支撑证据（如图 1 的橙色框所示），最终削弱了编辑的说服力。

我们进一步调查了观点-证据对齐是否可以被有意实现，并惊讶地发现，引入一个要求证据的指令可以明确强制编辑后的模型在回答观点相关问题时提供与目标观点一致的证据。这表明，编辑后的模型可以被诱导，并且本身具备生成与目标反事实观点相一致的证据的能力。然而，这种方法不切实际且不隐蔽，因为恶意攻击者无法控制最终用户使用的提示。因此，我们提出了一种简单有效的自生成证据对齐方法，该方法无需依赖显式指令即可实现观点-证据对齐（如图 1 的绿色框所示）。通过大量实验，我们证明了观点编辑技术的严重误用潜力。我们希望我们的基准和提出的方法能提高对这一新兴安全问题的认识，并为未来防御机制的发展提供基础。

## 2 相关工作

近期，大量工作从不同角度提出了 LLM 编辑的评估原则和基准。值得注意的是，MQUAKE (Zhong et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib36)) 评估编辑后的模型能否正确回答那些答案应随编辑而改变的多跳问题。MLaKE (Wei et al., 2025 (https://arxiv.org/html/2606.03096#bib.bib31)) 引入了一个涵盖五种语言的多语言编辑基准。Gu et al. (2024 (https://arxiv.org/html/2606.03096#bib.bib8)) 专注于评估编辑的副作用，担心编辑准确性的提升可能会降低模型的通用能力。此外，Zhang et al. (2025 (https://arxiv.org/html/2606.03096#bib.bib33)) 系统地揭示了当前编辑方法中的过拟合问题，而 HalluEditBench (Huang et al., 2025 (https://arxiv.org/html/2606.03096#bib.bib9)) 则强调了在纠正现实世界幻觉方面的局限性。与此同时，Chen et al. (https://arxiv.org/html/2606.03096#bib.bib2) 证明了编辑技术可能被滥用于注入错误信息，构成安全威胁。虽然这些进展塑造了评估格局，但它们主要集中在原子事实编辑上（例如，常识知识），留下了事实性观点编辑这一关键领域未得到充分探索。

## 3 FOE 基准：基于证据的事实性观点编辑

在本节中，我们介绍提出的 FOE 基准：Factual Opinion Editing with Evidence。我们首先定义观点编辑任务，然后详细描述数据集构建和预处理过程。接着，我们介绍评估问题的设计和生成，以及相应的评估指标。最后，我们描述基准中包含的潜在观点编辑技术。

### 3.1 问题定义

传统的知识编辑将事实表示为（主体，关系，客体）三元组。在我们的**事实性观点**设置中，我们将一个编辑实例重新表述为元组 (f, i, o)，其中 f 表示一位公众人物，i 表示一个问题，o 表示该人物对该问题所持的观点。当模型被询问问题 q(f, i)（例如，询问该人物对该问题的立场）时，原始模型的响应可能对应于 o。然而，恶意用户可能试图修改模型的内部知识，使其响应与期望的反事实观点 o* 一致，从而传播错误信息并扭曲该人物的公众形象。我们基准的主要目标是评估某些编辑技术是否可以被利用来实现此类操纵目标。

### 3.2 数据集构建

现有的观点相关数据集主要关注主观观点，旨在评估 LLM 自身的倾向或偏见 (Mitchell et al., 2022 (https://arxiv.org/html/2606.03096#bib.bib18); Mao et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib15); Santurkar et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib23))。这些与我们的目标根本不同，我们的目标集中在反映公众人物表达的可验证立场上。在本节中，我们系统化地描述如何从一个可靠来源构建现实世界的 Factual Opinions 数据集，以及为实现后续编辑任务而实施的预处理步骤。

**事实性观点的来源**。我们使用 OnTheIssues 作为数据来源来编译 Factual Opinions 数据集。OnTheIssues 是一个成熟的平台，记录美国公众人物在广泛问题上的观点。该平台为每个人提供 VoteMatch 摘要，整合了诸如演讲、投票记录和政策决策等多种形式的公开证据，以确定在各种具体议题上的立场。每个议题都标注了一个分类立场：支持、反对或无意见/中立。我们排除了标记为无意见/中立的实例，因为它们没有反映清晰的立场。对于每个剩余的实例，我们提取涉及的公众人物 f、讨论中的问题 i 以及表达的观点 o，这些构成了后续建模和评估的基础。

`\rowcolorcyan\!10` 问题 q(f, i)：唐纳德·特朗普对“对富人增税”的看法是什么？
`\rowcolorcyan\!10` 事实性观点 o：唐纳德·特朗普反对“对富人增税”。
`\rowcolorcyan\!10` 反事实观点 o*：唐纳德·特朗普支持“对富人增税”。

表 1：来自 Factual Opinions 数据集的一个实例。

**数据预处理**。接下来，我们将收集到的事实性观点转换为问答格式，以匹配指令调优 LLM 常用的数据结构。具体来说，我们使用模板“\{figure\} 对 \{issue\} 的 \{connector\} 是什么？”来生成观点相关问题。\{connector\} 是从预定义集合中随机抽样的：\{“立场”、“看法”、“态度”、“观点”、“视角”\}。对于每个实例，我们将与事实性观点相反的立场指定为反事实观点，作为编辑目标。一个完整的示例如表 3.2 所示。

**过滤不可召回观点**。在收集初始数据后，我们进一步过滤掉目标模型无法召回的事实性观点，这些目标模型是 Llama-3.1-8B-Instruct (Grattafiori et al., 2024 (https://arxiv.org/html/2606.03096#bib.bib7)) 和 Mistral-7B-Instruct-v0.3 (Jiang et al., 2023 (https://arxiv.org/html/2606.03096#bib.bib10))（分别称为 Llama3.1 和 Mistral3），以确保最终数据集与这些模型的内部知识一致。遵循 Zhong et al. (2023 (https://arxiv.org/html/2606.03096#bib.bib36)) 的方法，我们为每个观点设计了一个多项选择题模板（如表 2 所示），并用其查询模型，移除与收集的数据不一致的实例。

`\rowcolorcyan\!10` 用户提示：\{figure\} 对“\{Issue\}”的看法是什么？请使用以下标签之一回答：支持、反对、中立或不确定。仅回复标签，不要回复其他内容。

表 2：用于过滤目标模型无法召回的事实性观点的提示。

**数据统计**。最终数据集包含 261 位不同的公众人物，每个人物涉及 2-15 个不同问题的观点，总共产生 2,178 条完整的意见记录。遵循 OnTheIssues 的分类方案，我们的 Factual Opinions 数据集主要涵盖四大类问题：国际问题、国内问题、经济问题和社会问题。每个大类包含多个子类别，总共形成 19 种问题类型，涵盖了广泛的重要议题。我们在图 2 中总结了数据集统计信息。

参见图注
图 2：不同问题上的 Factual Opinions 数据集统计信息。

### 3.3 评估问题生成与指标

在我们的 FOE 基准中，我们从四个角度全面评估了观点编辑的有效性和潜在安全风险：**有效性**、**泛化性**、**持久性**和**局部性**。对于每个编辑实例，我们设计并生成总共十个相应的评估问题。其中一些问题是在 GPT-4o 的帮助下从原始的 Factual Opinion 数据集中衍生出来的，用于问题生成的详细提示见附录 A (https://arxiv.org/html/2606.03096#A1)。下面，我们详细介绍每个评估维度。

**方面 1：有效性**。有效性问题是复制 Factual Opinions 数据集中定义的编辑查询 q(f, i)。编辑后的模型在这些问题上的输出直接反映了编辑的效果。我们的评估主要关注两个方面。首先，我们检查模型的响应是否表现出清晰的