利用言语行为实现低数据与跨领域对话脱轨预测

# 利用言语行为进行低数据与跨领域对话偏离预测
来源：https://arxiv.org/html/2608.25359

###### 摘要
对话偏离预测旨在预测在线讨论何时会升级为敌对状态，从而实现主动的内容审核。现有方法在低数据环境下往往表现不佳，且难以跨领域泛化。这给标注数据有限的新平台和小型社区带来了挑战。我们提出对对话的语用表征进行建模，以降低词汇噪声并提升泛化能力。具体而言，言语行为信息作为辅助学习信号与文本语义共同使用。实验结果表明，在三个数据集上性能均有提升，尤其在低数据和跨领域场景下效果显著。

## 1 引言
人类通常能够预判分歧何时可能升级为敌对状态，从而在对话恶化前进行干预。对话偏离预测旨在通过计算手段复现这一能力，在敌对性崩溃发生前进行预测，以辅助在线平台的主动内容审核工作。由于对话偏离在不同在线社区中的微妙性与情境依赖性，对这一过程进行计算建模构成了重大挑战。Reddit上的政治辩论语言与GitHub上的技术对话迥然不同，而激烈争执中的特定词汇差异可能进一步加剧。现有预测系统主要依赖语义特征，常常难以适应这些词汇变化，或需大量数据来学习广泛可泛化的特征。然而，数据标注成本高昂，对于新平台和小型社区，标注数据往往有限。这催生了模型在低数据环境下可靠运行的需求，包括利用来自数据丰富平台的可迁移信号。

为应对这些挑战，我们提出一种新颖的方法来建模言语行为以指导偏离预测。基于言语行为理论，我们假设言语行为能提供低维语用表征，既可缓解词汇噪声，又能提升预测的泛化能力。为有效融合语用与语义信号且不增加推理延迟，我们引入两种通过辅助任务整合言语行为的架构。不同于近期依赖领域特定特征和推理时辅助信息的方法，我们使用可迁移的语用追踪来应对低数据和跨领域动态偏离预测的空白。我们的贡献如下：

1. 我们提出将言语行为信息融入偏离预测的新方法。在三个数据集上的大量实验表明，该方法比最先进的基线模型具有更强的泛化能力，尤其在低数据和跨数据集设置下表现突出；
2. 我们研究了数据集差异性与基于文本和语用特征的模型跨数据集泛化能力之间的关系，表明当迁移到高度差异的数据集时，语用特征能带来更大收益；
3. 我们引入了一种通过平均时间聚合评估动态预测性能的协议，能更好地反映模型在每个时间步的行为。

## 2 相关工作
### 2.1 对话偏离预测
对话偏离预测旨在预测初始文明的对话最终是否会退化为敌对行为。与标准毒性检测（对已发生的言论进行滥用分类）不同，偏离预测能够动态进行预判，使版主能够在讨论失控前进行干预。先前关于对话偏离预测的研究提出了多种方法，从使用手工语言特征的传统机器学习模型，到基于原始文本和对话元数据的深度学习架构。近年来，预训练语言模型因其预训练获得的通用语言表征能很好地迁移到对话预测任务而被广泛采用。大型语言模型的上下文学习能力也通过少样本提示进行了评估。虽然大型语言模型引入了高计算成本和推理延迟，使其不适合高流量平台的实时内容审核，但先前工作主要使用对话摘要或完整对话而非动态的、逐轮次的预测来评估它们。当前方法利用现有数据集实现强大的监督性能，很大程度上忽视了低数据场景和跨领域泛化能力的挑战。收集偏离数据集资源密集，需要大量人工标注以及版主明确操作（如锁定帖子、删除评论）进行初步筛选。实践中，新平台、小众社区或特定领域的对话环境往往标注数据有限。将偏离预测模型适应到这些资源受限或领域外的环境仍未得到充分探索，凸显了需要能够不依赖大型平台特定数据集进行跨领域迁移的模型。

### 2.2 言语行为建模
言语行为理论认为语言执行超越信息传达的动作。言语行为动词对这些动作进行分类，封装了说话者细微的意图与心理状态。在自然语言处理中，将高维文本映射到低维动作空间通常用于两个目的：减少领域特定的词汇噪声和捕捉话语的潜在语用功能。在面向任务的对话系统中，将用户文本转化为一组对话行为常被用作捕捉用户意图的第一步，随后才生成系统响应。基于言语行为的显式聚类也已被证明通过减少词汇依赖，能提升礼貌性可解释检测的跨领域泛化能力。数字语料库的过程挖掘进一步识别出言语行为序列中的模式，凸显了其作为对话预测序列信号的潜力。有效利用这些语用特性进行实时预测带来了架构挑战，本研究旨在解决这些问题：平衡言语行为与文本特征，避免实时言语行为提取带来的推理延迟。

## 3 提出的方法
在本节中，我们描述所提出的方法：(1)从原始对话中提取言语行为信息；(2)设计利用提取的言语行为信息的偏离预测模型。

### 3.1 言语行为提取
#### 分类体系构建
我们采用了一个包含50个言语行为动词的精选分类体系，这些动词在语言学和对话分析文献中被广泛使用，并增加了一个“其他”标签。每个言语行为附带其含义的简要描述，在适用时还包含说话者的心理状态描述，这些描述源自语义语言学作品和标准词典。分类体系详见附录A。

#### 零样本推理
使用此分类体系，我们通过开源模型gpt-oss-120b来推导辅助的言语行为信息。基于大型语言模型的辅助知识，如预测的后续话语或情感轨迹，在对话预测任务中已显示出有效性。遵循现有方法，我们将其表述为句子级别的多标签分类任务。一个话语如果在其任一组成句子中出现该言语行为，则被标记为具有该言语行为。

#### 提示设计
先前的语用分析和言语行为提取研究探讨了字面措辞与潜在意图之间的差异，而偏离预测研究表明，对话结果还受到听者对说话者意图感知的影响。为解决这些维度，我们的提示旨在针对听者感知的预期言语行为。借鉴语用分析研究，该提示明确指示模型识别导致字面意义与意图意义产生差异的因素，包括比喻语言、隐含攻击性、间接性和违反对话准则。例如，“是的，你说得对，你当然应该能够重新定义诸如‘活动’和‘外部伤害’这样的术语。”这句话可能被字面解读为“同意”听者。然而，在有争议的交流中，听者很可能会将说话者的意图感知为“不同意”和“批评”的言语行为。

#### 人类验证
虽然我们框架的主要目标是下游预测性能，但我们评估了大型语言模型提取的言语行为是否与人类判断一致，以提供有意义的语用信号。具体而言，从30个随机选择的回复中手动标注了85个句子。鉴于言语行为标注固有的主观性，该模型在51个细粒度类别上显示出中等的一致性（Cohen's Kappa = 0.53），当合并为5个基本类别（断言类、指令类、承诺类、表达类，以及替代宣告类的“其他”）时，一致性几乎完美（κ=0.88）。这与先前研究中观察到的人类标注者间一致性一致。关于言语行为提取评估的更多细节见附录A。

### 3.2 偏离预测模型
提取的言语行为信息通过辅助的言语行为检测任务在模型训练期间使用，以用语用信号规范化模型的潜在空间。由于此信息仅作为训练信号，因此在推理时无需言语行为提取，消除了运行外部提取管道的成本和延迟。我们设计了两个同时利用原始文本和言语行为信息的模型，其中一个专门配置为优先考虑言语行为信号。如图1所示，两者都采用分层架构，该架构在对话预测任务的建模动态中已被证明有效，也自然促进了言语行为标签在话语层面的整合。该架构由两个主要组件构成。首先，基于预训练语言模型的话语级编码器处理单个话语的原始文本并为每个话语生成嵌入。其次，基于两层Transformer的对话级编码器接收预训练语言模型编码的话语嵌入，连同说话者和话语ID嵌入，输出每个话语的上下文化表征，捕捉其对话上下文。

(a) 并行架构 (b) 序列架构
图1：并行架构与序列架构的示意图。

在这些组件之上，分别附加了用于言语行为检测和偏离预测的两个分类头。言语行为检测头应用于每个上下文化的话语嵌入，进行每个话语的多标签言语行为分类。它利用分层架构在关注目标话语的同时兼顾上下文信息。两个提出的模型在偏离预测头的设计上有所不同。在并行架构中，偏离预测头与言语行为检测头并行地附加在对话级编码器之上。它对最后一轮对话的嵌入进行平均以产生预测。为避免模型主要依赖原始文本特征而非言语行为信息，并行架构经过两阶段训练：首先聚焦于...