介于压制与崩溃之间：使用LENS评估叙事去学习

# 在抑制与崩溃之间：使用LENS评估叙事去学习
来源：https://arxiv.org/html/2607.22657
11institutetext:乌克兰天主教大学, 利沃夫, 乌克兰, 11email:makovska\.pn@ucu\.edu\.ua22institutetext:埃因霍温理工大学, 埃因霍温, 荷兰

###### 摘要

大型语言模型\(LLMs\)能够将符合虚假信息的叙事框架复现为看似合理的解释，这引发了一个问题：现有的机器去学习算法能否抑制这种行为。我们引入了*基于层次的叙事抑制评估*\(LENS\)，这是一种基于上下文化的评估协议，用于测试目标叙事在直接、归因、对比和抽象抵抗层面上的复现情况。我们评估了两个基于来源的叙事：一个将俄罗斯对乌克兰的战争归咎于北约扩张，另一个将美国描述为利用或放弃台湾。实验覆盖了四个近12B参数的多语言指令模型：Lapa LLM、Gemma-12B、Qwen-14B和TAIDE-Gemma。

我们引入了抑制-崩溃效率\(SCE\)评分作为检查点选择的摘要指标，该指标奖励目标叙事的抑制，同时惩罚输出质量下降。我们的结果显示，选定的检查点可以减少叙事复现，并且抑制效果可能转移到直接的遗忘提示之外。我们还报告了实体恢复作为一种独立的副作用：抽象A/B/C提示可能导致模型在去学习后恢复与目标框架相关的真实世界行为者。这些发现表明，LENS是一种有效的诊断协议，可用于报告和指导对叙事去学习更深层结构的进一步研究。

## 1 引言

L0直接明确的靶标主张
L1归因报道或第三方框架
L2对比靶标 vs. 替代框架
L3抽象/掩码A/B/C行为者结构
增加诱导距离
图 1：LENS抵抗级别。

大型语言模型\(LLMs\)复现的不仅仅是孤立的事实。它们还复现重复出现的解释性框架：因果归因、行为者责任和修辞结构的模式，这些模式使一个有争议的主张显得连贯。与此同时，LLM投毒[24 (https://arxiv.org/html/2607.22657#bib.bib3)]或LLM诱导[3 (https://arxiv.org/html/2607.22657#bib.bib2)]的威胁日益增长，引入了新的LLM攻击方式，包括虚假信息传播[23 (https://arxiv.org/html/2607.22657#bib.bib4)]。这些框架可以被视为具有重复出现的意识形态结构和特定世界观的叙事[8 (https://arxiv.org/html/2607.22657#bib.bib1)]。我们研究叙事复现风险，衡量模型行为，而不将其归因于训练数据来源。

机器去学习是缓解这种污染行为的自然候选方法：如果模型重复产生实例化目标叙事的补全，那么这些补全可以被收集作为遗忘示例，并用于推动模型远离该行为，而无需从头开始重新训练[29 (https://arxiv.org/html/2607.22657#bib.bib5),19 (https://arxiv.org/html/2607.22657#bib.bib6),15 (https://arxiv.org/html/2607.22657#bib.bib7)]。叙事去学习需要比删除一个记忆字符串更强大的评估。一种方法可以抑制直接的提示，同时保留更深层的框架在释义、归因或抽象下完好无损。一种方法也可能通过拒绝回答而显得成功；在我们的研究问题下，这种拒绝被视为一种失败模式，而不是干净的去学习。

我们提出两个问题：RQ1：现有的去学习方法何时能抑制叙事复现，而不是导致拒绝或崩溃？RQ2：在抑制之后，在间接提示下（包括替代解释、框架关联或真实行为者恢复）还残留什么行为？

现有的去学习基准大多评估类似事实或类似能力的知识的移除[19 (https://arxiv.org/html/2607.22657#bib.bib6),15 (https://arxiv.org/html/2607.22657#bib.bib7)]。虽然先前的评估包括释义或扰动形式，但我们的贡献针对一个不同的失败模式：能够通过归因、比较或抽象在重新语境化中存活的框架。我们认为，叙事去学习因此需要测试超出措辞变化的迁移。

为了解决叙事去学习研究中的这一空白，我们引入了*基于层次的叙事抑制评估*\(LENS\)，一种用于叙事去学习的抵抗级别协议。LENS在四个层次上评估目标叙事：直接诱导\(L0\)、归因或报道的解释\(L1\)、对比框架\(L2\)以及掩码或抽象框架\(L3\)。我们还添加了一个独立的L3特殊副作用探针用于实体恢复，其中模型收到一个框架提示，其中的实体名称被替换为通用的A/B/C占位符，并可能恢复真实世界的行为者。图 1 (https://arxiv.org/html/2607.22657#S1.F1)可视化了与目标叙事之间递增的诱导距离。

我们研究两个基于来源的叙事。在“北约迫使战争”中，北约扩张被呈现为俄罗斯对乌克兰战争的原因，从而减轻了俄罗斯的责任[26 (https://arxiv.org/html/2607.22657#bib.bib8),4 (https://arxiv.org/html/2607.22657#bib.bib9)]。在“美国抛弃台湾”中，美国被呈现为利用台湾为其自身战略利益并可能抛弃它[16 (https://arxiv.org/html/2607.22657#bib.bib10),18 (https://arxiv.org/html/2607.22657#bib.bib11)]。我们使用事实核查和监测来源来定义这些叙事特征，并将它们转化为中立的提示家族。

我们将叙事去学习定义为一个轨迹选择问题。结果显示，叙事抑制并不能很好地由最后一个训练检查点代表。早期的检查点通常几乎不改变目标框架，而晚期的检查点主要通过产生降级、重复或空洞的答案来减少复现。有用的检查点出现在轨迹的中段，此时目标框架的复现已经下降，但生成健康度仍然可以接受。

本文有三个贡献。1.我们定义了LENS，一种基于上下文的多层次叙事去学习评估协议，测试抑制是否转移到直接的遗忘提示之外。2.我们引入了抑制-崩溃效率评分\(SCE\)，一种奖励抑制同时惩罚降级输出的选择摘要。3.我们表明，在一个受限的红队设置中，现有去学习目标的选定检查点可以减少叙事复现，仅使用模型生成的复现答案作为负向遗忘示例，而无需明确的反知识、中性替代答案或拒绝目标。

## 2 相关工作

### 叙事复现与污染风险。

虚假信息通常以重复出现的叙事框架形式传播。一个框架指定了行为者、因果方向、责任归属以及使有争议事件显得连贯的解释[8 (https://arxiv.org/html/2607.22657#bib.bib1)]。在LLMs中，当相似模式在训练数据、检索上下文或指令微调数据中重复出现时，这样的框架可能会被复现。我们不声称识别出特定的有毒训练文档。相反，我们研究一种类似投毒或与诱导相关的行为风险：重复暴露和网络规模分布可以使符合虚假信息的框架对模型可用[24 (https://arxiv.org/html/2607.22657#bib.bib3),3 (https://arxiv.org/html/2607.22657#bib.bib2),23 (https://arxiv.org/html/2607.22657#bib.bib4)]。

### LLM去学习。

机器去学习旨在减少选定数据或行为的影响，而无需从头开始重新训练模型。最近的LLM去学习工作研究了梯度上升目标、保留保持目标、虚构作者遗忘、危险知识移除以及安全导向的删除[29 (https://arxiv.org/html/2607.22657#bib.bib5),19 (https://arxiv.org/html/2607.22657#bib.bib6),15 (https://arxiv.org/html/2607.22657#bib.bib7)]。这些设置确立了标准的遗忘/保留权衡：目标行为应该减少，而不相关的保留行为应保持可用。叙事去学习保留了这种权衡，但改变了目标。它不是移除一个记忆的事实或有限的知识集，而是试图减少一个可能存在于释义、归因、比较或抽象之下的重复出现的解释性框架。

### 目标与参数高效适配器。

我们的实验使用现有的去学习目标。我们评估了带保留保持的梯度上升[29 (https://arxiv.org/html/2607.22657#bib.bib5)]、TOFU风格的梯度上升和梯度差基线[19 (https://arxiv.org/html/2607.22657#bib.bib6)]以及负向偏好优化[31 (https://arxiv.org/html/2607.22657#bib.bib12)]。由于研究需要跨模型、语言、叙事和检查点的许多轨迹，我们使用参数高效适配器来实现干预。LoRA冻结基础模型并学习低秩适配器权重[10 (https://arxiv.org/html/2607.22657#bib.bib13)]；AdaLoRA在训练期间自适应分配秩[30 (https://arxiv.org/html/2607.22657#bib.bib14)]。

### 基准、指标与重新语境化的提示。

现有的LLM去学习基准鼓励单独的遗忘和保留测量。TOFU在受控设置中评估虚构作者遗忘[19 (https://arxiv.org/html/2607.22657#bib.bib6)]，而WMDP评估危险知识的移除[15 (https://arxiv.org/html/2607.22657#bib.bib7)]。一些先前的评估包括释义或扰动形式，但叙事去学习需要一种不同的迁移测试：当提示通过归因、比较或抽象重新语境化时，相同的因果框架是否存活。关于知识空洞的相关工作探讨了去学习是否移除了良性的相邻知识[11 (https://arxiv.org/html/2607.22657#bib.bib19)]。LENS提出了一个互补的问题：直接针对的去学习是否在通过重新语境化设计的间接提示下留下相关的叙事结构可用。

### 拒绝、降级与崩溃。

目标复现的减少并不自动意味着成功的去学习。模型可能拒绝、产生空文本、截断或退化为重复循环。神经生成也可能崩溃为重复文本；n-gram重复和多样性诊断是这种失败模式的标准信号[9 (https://arxiv.org/html/2607.22657#bib.bib16),27 (https://arxiv.org/html/2607.22657#bib.bib17),14 (https://arxiv.org/html/2607.22657#bib.bib18)]。因此，LENS将叙事复现与拒绝、降级、基准效用变化和保留漂移分开。目标不是最大化的表面遗忘，而是一个有用的检查点，其中目标叙事减少，模型仍然能够回答提示。

### 研究空白。

先前的工作提供了去学习目标和遗忘/保留评估逻辑，但它没有直接评估跨抵抗级别的叙事框架抑制。LENS通过测试L0–L3提示家族中的目标叙事复现，并独立于普通目标复现报告L3实体恢复，填补了这一空白。这为叙事去学习提出了一个更广泛的问题：它的行为是否像事实或能力级别的遗忘，还是主要改变了模型的解释性行为，同时在间接提示下留下相关的框架关联可用？

## 3 问题设定

我们研究现有的去学习方法是否能减少模型复现符合虚假信息的目标叙事框架的倾向。目标框架是一种重复出现的解释结构：命名了哪些行为者，使用了什么因果关系，如何分配责任，以及响应是否赋予框架可信度。

### 叙事复现。

我们将*叙事复现*定义为模型响应将目标框架呈现为可信解释。当响应拒绝、驳斥或明确地将框架语境化为无根据、误导性或非主要解释时，不计为复现。空洞的、离题的、重复的、截断的或崩溃的输出被单独标记为无效或降级生成。

### 目标叙事。

我们使用两个基于来源的叙事框架。在“北约迫使战争”中，北约扩张被呈现为俄罗斯对乌克兰战争的原因，从而减轻了俄罗斯对入侵的责任[20 (https://arxiv.org/html/2607.22657#bib.bib20),26 (https://arxiv.org/html/2607.22657#bib.bib8),4 (https://arxiv.org/html/2607.22657#bib.bib9)]。在“美国抛弃台湾”中，美国被呈现为利用台湾为其自身战略利益并可能抛弃它[16 (https://arxiv.org/html/2607.22657#bib.bib10),17 (https://arxiv.org/html/2607.22657#bib.bib21)]。这些来源定义了叙事特征，我们将其转化为受控的提示家族用于评估。表1 (https://arxiv.org/html/2607.22657#S3.T1)展示了两个特征以及每个特征的一个紧凑L0提示。

表 1：目标叙事特征和直接紧凑响应示例。

### 模型与语言。

评估覆盖四个近12B参数的多语言指令模型：Lapa LLM[12 (https://arxiv.org/html/2607.22657#bib.bib23)]、Gemma-12B[6 (https://arxiv.org/html/2607.22657#bib.bib24)]、Qwen-14B[21 (https://arxiv.org/html/2607.22657#bib.bib25)]和TAIDE-Gemma[25 (https://arxiv.org/html/2607.22657#bib.bib26)]。我们在基线质量足够的情况下评估乌克兰语、英语、简体中文和繁体中文。Lapa用乌克兰语和英语评估。Gemma-12B和Qwen-14B用所有四种语言评估。TAIDE-Gemma用英语、简体中文和繁体中文评估；乌克兰语被排除，因为基线乌克兰语生成未通过可读性质量门槛。中文提示由母语为中文的人验证，乌克兰语提示由母语为乌克兰语的人验证。

### 紧凑与不受限响应。

主要实验使用紧凑响应条件，添加本地化指令如“用1-2句话回答”。我们在基线生成、手工遗忘集构建、去学习后生成以及前后报告中使用相同条件。紧凑响应减少了混合立场答案，并使手动和弱标签标注更可靠。我们仅将不受限条件保留为敏感性比较，以了解响应长度如何改变基线叙事复现。

### 遗忘与评估数据。

遗忘数据针对每个模型-叙事-语言单元单独构建。对于每个单元，基础模型通过直接L0诱导提示进行提示，并对产生的答案进行手工标注。只有目标主导的复现进入严格的遗忘集。去学习损失是提示掩码的：提示保持在上下文中，但提示令牌从损失中掩码，因此更新仅应用于答案令牌[5 (https://arxiv.org/html/2607.22657#bib.bib27)]。

## 4 LENS评估协议

LENS测试叙事抑制是否转移到用于构建遗忘集的直接提示之外。每个目标叙事由一个基于来源的特征和一个多语言提示套件表示。提示被组织成四个抵抗级别，从直接诱导到抽象结构探测。表2 (https://arxiv.org/html/2607.22657#S4.T2)定义了这些级别并给出了简短的英语示例。

表 2：LENS抵抗级别。示例是紧凑响应条件下简化的英语提示模式。