基于行为与语言模式的信息操作用户无监督异常检测

# 基于行为与语言模式的信息操作用户无监督异常检测
来源：https://arxiv.org/html/2607.05855
11机构：RMIT大学，澳大利亚墨尔本维多利亚州3000，电子邮件：[email protected], {sajal.halder,ke.deng,xiuzhen.zhang}@rmit.edu.au
22机构：麦考瑞大学，澳大利亚悉尼新南威尔士州2000，电子邮件：[email protected]

###### 摘要

社交网络上的信息操作（IOs）已被视为对民主和现代社会的重大威胁，但人类对其进行检测既困难又昂贵。现有的监督式信息操作检测方法无法捕捉不断演化的信息操作用户行为的动态特性，而无监督方法则依赖于信息操作用户之间实际可能不存在的协调性这一过于简化的假设。为了克服现有方法的局限性，我们将信息操作用户检测定义为异常检测问题，并提出一种新颖的无监督信息操作用户检测方法，名为基于行为与语言信号的时间信息操作识别（TENSOR）。该方法利用多模态数据，包括时间在线用户行为（如消息发布活动）以及消息的文本内容。其核心动机在于：信息操作用户通常只占所有在线用户的一小部分，且具有独特的时间行为模式和语言模式。具体而言，我们训练一个时间点过程（TPP）来捕捉信息操作用户的异常时间行为模式，因为这些用户已知会在信息操作活动中以协调一致的方式行动。我们进一步引入一种新的证据函数，将基于用户帖子时间线生成的LLM响应转换为量化分数，以调整TPP的输出，从而实现更好的信息操作用户检测。实验结果表明，TENSOR在五个真实世界的信息操作数据集上优于基线方法。111代码可在 https://github.com/xiuzhenzhang/TENSOR 获取。

## 1 引言

社交网络（SNs）的发展使得关键信息的快速传播、大规模讨论以及关于政治和社会问题的联合行动成为可能，因为社交网络将人们联系起来[6]。然而，社交网络的能力可能被信息操作（IOs）滥用，尤其是由国家支持的信息操作。信息操作是有组织的尝试，旨在篡改信息的正常流动，并通过虚假信息、仇恨言论和其他有害内容影响公众舆论。信息操作很难被检测，因为它们总是由一小群用户发起[28, 37]。由于信息操作的目标包括操纵叙事以及在线上和线下社区中制造分裂，它已被视为对民主的重大威胁，迫切需要稳健的方法来检测这些操作[7]。

研究人员提出了信息操作检测方法，以识别单个帖子或特定用户是否与信息操作相关。以下讨论集中在信息操作用户的检测上，这是本研究的主要关注点。信息操作用户有动机或受到激励去推广信息操作，而合法的自然用户则被称为控制用户。信息操作用户检测方法利用用户在社交网络上的帖子时间线中的模式。这些模式可以分为行为模式（具体而言，是时间行为模式，因为它们描述了用户随时间在社交网络上的活动）和语言模式，包括说话风格和兴趣领域。

信息操作用户的检测具有挑战性。最大的挑战是信息操作用户检测算法的泛化能力，即它们检测未见过的信息操作的能力。在实际应用中，信息操作快速演变，因此现有的带标签信息操作数据集总是滞后。这意味着现有的监督式[1, 6, 18]和半监督式[2, 20, 31, 36]信息操作用户检测方法存在泛化问题，即它们无法检测新的、未见过的信息操作。最近的零样本LLM方法[17]提供了一种无监督的替代方案，但它们捕捉复杂时间行为动态的能力仍然有限。

本文将信息操作用户检测定义为一个无监督异常检测问题，并提出一种新颖的方法，名为基于行为与语言信号的时间信息操作识别（TENSOR），利用用户帖子时间线中的行为模式和语言模式进行无监督的信息操作用户检测。在信息操作数据上训练异常检测模型是困难的，因为训练数据（本应包含控制用户的时间线）被信息操作用户污染了。这会损害信息操作用户检测模型的性能。为了缓解这个问题，我们使用了语言模式。具体来说，首先，我们在被污染的数据上训练一个时间点过程（TPP），以基于异常行为模式（例如不同信息操作账户之间的协调行为，这在信息操作用户中常见但在控制用户中罕见）来识别信息操作用户。时间点过程是一个定义在时间事件序列上的良好随机过程[4]。研究人员已利用该过程在无监督识别异常事件序列与正常序列[29]以及异常事件与正常事件[16]方面取得了最先进的性能。其次，我们提出了一种新的证据函数来调整TPP的推断。该函数将基于用户帖子时间线生成的LLM响应转换为量化分数，从而优化TPP的输出，以实现更好的信息操作用户检测。实验结果表明，TENSOR在五个真实世界的信息操作数据集上显著优于其他基线方法。

## 2 相关工作

大多数现有的信息操作检测研究基于纯行为模式[6, 18]、纯语言模式[1, 2, 8, 9, 10]或两者结合[17, 20, 36]对信息操作用户进行分类。Vargas等人[36]基于协调行为（例如在时间窗口内发布相同内容，或在时间窗口内发布相同话题标签）对信息操作用户进行分类，这些行为从用户的帖子时间线中提取。Luceri等人[17]研究了在少样本和微调设置下，LLM的信息操作用户检测。Minici等人[20]提出了IOHunter，一个基于图的检测器，其中用户行为痕迹（包括推文、话题标签和发布时间）的相似性证明了用户之间联系的合理性。尽管在现有数据上报告了良好的性能，但监督式和半监督式的信息操作用户检测方法需要带标签的信息操作数据集，这些数据集规模有限且滞后于现实世界的信息操作实践。这引发了人们对监督式和半监督式信息操作用户检测算法在实际场景中泛化能力的担忧。

最近的零样本LLM方法[17]提供了一种无监督的替代方案，但它们捕捉复杂时间行为动态的能力仍然有限。虽然并非直接针对信息操作用户检测，但其他关于信息操作用户的研究验证了同一信息操作中用户之间的协调性[12, 21]。尽管这些方法揭示了信息操作用户往往形成较小且相对分离的聚类，与合法的自然用户相比，我们的研究表明，仅基于这一观察来开发无监督的信息操作用户检测方法是一种过度简化。

**使用污染数据的异常检测：** 如果异常数据只占数据的一小部分[38]，则可以使用污染数据进行异常检测。大多数现有方法在训练过程中采用无监督的异常识别，从而允许模型排除这些样本或利用它们来减轻性能下降[25, 27, 39]。Patra等人[24]观察到这些方法需要关于数据集的先验知识，例如污染比例，而这一比例通常是未知的。为了解决这些问题，他们提出了基于证据的事后调整框架用于异常检测（EPHAD），这是第一个在测试时使用证据函数调整在污染数据上训练的异常检测器预测的框架。Patra等人[24]专注于视觉数据的异常检测，但如何将EPHAD适应于多模态的时间与语言数据仍是一个悬而未决的问题。

**用于社交媒体分析的LLM：** 基于LLM的社交媒体分析已被广泛研究，包括帖子标注[19, 34, 35]、虚假信息检测与缓解[14, 26, 42, 43]以及信息操作检测[17]。与[17]（它将LLMs作为基于行为与语言模式的唯一分类器）不同，TENSOR利用LLM提供额外的证据来增强基于TPP的异常检测器。

## 3 问题定义

我们将信息操作（IO）用户检测定义为一个无监督异常检测问题。社交网络（SN）包含信息操作用户（即有动机或受到激励去推广信息操作的用户）和控制用户（即正常的真实社交媒体用户）。信息操作用户的数量远少于正常用户，并且他们的行为模式和语言模式明显不同，这反映在他们的帖子时间线中。用户 \( i \) 的帖子时间线为 \( \bm{s}_i = (s_{i,1}, s_{i,2}, \cdots, s_{i,M_i}) \)，其中 \( M_i \) 是该用户的帖子数量。每个帖子事件 \( s_{i,k} = (t_{i,k}, c_{i,k}) \) 包含帖子创建的时间 \( t_{i,k} \) 和帖子内容 \( c_{i,k} \)。所有用户（包括正常用户和信息操作用户）的帖子时间线记为 \( \bm{S} = \{ \bm{s}_1, \bm{s}_2, \cdots, \bm{s}_n \} \)。为后续使用，我们将所有时间戳和内容的序列分别记为 \( \bm{T} = \{ \bm{t}_1, \bm{t}_2, \dots, \bm{t}_n \} \) 和 \( \bm{C} = \{ \bm{c}_1, \bm{c}_2, \dots, \bm{c}_n \} \)，其中 \( \bm{t}_i = (t_{i,1}, t_{i,2}, \cdots, t_{i,M_i}) \) 和 \( \bm{c}_i = (c_{i,1}, c_{i,2}, \cdots, c_{i,M_i}) \) 分别是用户 \( i \) 的时间戳和内容序列。我们在 \( \bm{S} \) 上训练一个模型 \( \mathcal{M} \)，以从控制用户中识别出信息操作用户。信息操作用户标记为 0，控制用户标记为 1，公式如下：

\[
y = \begin{cases} 
0, & \mathcal{M}(\bm{t}_i, \bm{c}_i) \geq \epsilon \\
1, & \text{otherwise}
\end{cases}
\]
(1)

其中 \( \epsilon \) 是阈值。我们将在第5节中说明如何确定 \( \epsilon \) 的值。

## 4 方法论

在本节中，我们介绍基于行为与语言信号的时间信息操作识别（TENSOR），这是一种新颖的异常检测方法，利用用户行为序列中的行为模式和语言模式进行无监督的信息操作用户检测。TENSOR由两个核心模块组成：时间点过程（TPP）和大型语言模型（LLM）。TPP使用用户行为序列来识别信息操作用户，但由于训练集被信息操作用户污染，其性能可能不是最优的。为了缓解这个问题，我们提出了一种新的证据函数，将LLM的输出转换为分数，并使用基于证据的事后调整框架用于异常检测（EPHAD）[24]来使用证据函数调整TPP模型的输出。在第4.1节和第4.2节中，我们将简要介绍TPP和EPHAD。在第4.3节中，我们将介绍TENSOR的结构和技术细节。

### 4.1 TPP模型

时间点过程（TPP）描述了一个事件序列 \( \bm{\tau} = (\tau_1, \tau_2, \cdots, \tau_m) \) 的随机过程，其中 \( \tau_k \) 是事件发生的时间。本文考虑简单的TPP，该过程只允许在任何时刻最多发生一个事件，因此如果 \( k < l \)，则 \( \tau_k < \tau_l \)。给定截至（但不包括）当前时间 \( t \) 的历史，记为 \( \bm{\mathcal{H}} \)，条件强度函数 \( \lambda^*(t) \) 是在时间 \( t \) 发生事件的概率[4]：222星号表示该函数依赖于历史。

\[
\lambda^*(t) = \lim_{\Delta t \rightarrow 0} \dfrac{P\left(\tau \in (t, t+\Delta t] \middle| \bm{\mathcal{H}}\right)}{\Delta t}
\]
(2)

利用 \( \lambda^*(t) \)，我们可以定义下一个事件在时间 \( t \) 发生的联合概率分布 \( p^*(t) \)。

\[
p^*(t) = \lambda^*(t) \exp\left(-\int_{t_l}^{t} \lambda^*(\tau) \mathrm{d}\tau\right)
\]
(3)

对于在时间区间 \([t_0, T]\) 内观察到的 \( \bm{\tau} \)，其负对数似然（NLL）损失为：

\[
L = -\log p(\bm{\tau}) = -\sum_{k=1}^{M} \log \lambda^*(\tau_k) + \int_{t_0}^{T} \lambda^*(u) \mathrm{d}u
\]
(4)

其中 \( M \) 是 \( \bm{\tau} \) 中的事件数量。公式(4)是TPP模型的训练损失。最近的TPP模型基于神经网络（参见[30]的全面综述）。TPP已被用于从正常事件或事件序列中检测异常事件或序列[16, 29, 41]。

### 4.2 基于证据的事后调整框架用于异常检测

异常检测（AD）算法需要一个包含正常样本的训练数据集 \( \bm{D} = \{ x_1, x_2, \cdots, x_n \} \) 来训练一个AD分类器 \( f(x) \)。如果 \( \bm{D} \) 被