从单词级词典到句子级语义：基于上下文模型的多语言怨言标注

# 从词汇级词典到句子级语义：基于上下文模型的多语种不满标注
来源：https://arxiv.org/html/2607.20946
林田 行为数据科学 悉尼科技大学 澳大利亚悉尼 Lin\.Tian\-3@uts\.edu\.au &Marian\-Andrei Rizoiu 行为数据科学 悉尼科技大学 澳大利亚悉尼 Marian\-Andrei\.Rizoiu@uts\.edu\.au

###### 摘要

不满是分析人员评估暴力威胁时关注的警示信号之一。目前，人们越来越多地通过在线文本大规模测量不满，最常见的方式是使用词汇级词典（如Grievance Dictionary）通过匹配加权词项进行评分。这种匹配方法快速且透明，但无法判断某个词项是被断言、引用、否定还是谴责。此外，这些词典的评估也常常基于包含其本身所检索示例的样本池，因此高分部分反映了与词典自身选择规则的一致性。在考察一个包含五种语言、2000个项目的评估池时，我们发现其两半部分几乎被词典本身完美分隔：每个标记为“随机”的项目实际上都是词典阴性，因此词典表观的宏观AUROC 0.686实际上因构造原因被固定在0.500的基准线下。我们保留了词典的22个构念本体，但用上下文阅读模型替代了词项匹配，并在一个非循环基准上进行了评估，该基准在五种语言中分离了无条件随机、词典阳性和词典阴性三个层次。阅读完整帖子而非仅目标句子，在词典无反应时帮助最大，将词典阴性文本的平均精确度从0.14提高到0.20，在引用、隐含和跨句子不满方面增益最大。综合来看，这些结果表明，通过阅读上下文可以更忠实地测量不满，而在词典未选择的文本上测试时测量结果也更诚实。我们在https://github.com/behavioral-ds/multilingual_grievance发布代码和基准。

从词汇级词典到句子级语义：基于上下文模型的多语种不满标注

林田行为数据科学悉尼科技大学澳大利亚悉尼Lin\.Tian\-3@uts\.edu\.auMarian\-Andrei Rizoiu行为数据科学悉尼科技大学澳大利亚悉尼Marian\-Andrei\.Rizoiu@uts\.edu\.au

## 1 引言

2020年2月19日，在德国哈瑙杀害九人之前，袭击者在其个人网站上发布了一份德语宣言和视频，阐述了他认为证明其行为合理的不满。¹¹¹https://www.france24.com/en/20200219-shooting-leaves-several-people-dead-in-western-german-city-of-hanau 这种泄露是常态而非例外：大多数独狼袭击者在行动前将其不满诉诸文字或录音，通常以警告行为的隐晦形式而非明确威胁（Meloy et al., 2012 (https://arxiv.org/html/2607.20946#bib.bib5); Gill et al., 2014 (https://arxiv.org/html/2607.20946#bib.bib6)）；例如，基督城袭击者数月前就在匿名论坛上公开其意图（Wilson et al., 2024 (https://arxiv.org/html/2607.20946#bib.bib8); Bogle, 2026 (https://arxiv.org/html/2607.20946#bib.bib9)）。由于分析人员无法大规模阅读每条帖子（Brynielsson et al., 2013 (https://arxiv.org/html/2607.20946#bib.bib11); Cohen et al., 2014 (https://arxiv.org/html/2607.20946#bib.bib10)），自动化的不满测量已成为一种有吸引力的初步筛选方法。然而，相关的语言往往富含上下文且具有对抗性。基督城袭击者的宣言（2019年3月15日基督城清真寺袭击调查皇家委员会，2020 (https://arxiv.org/html/2607.20946#bib.bib7)）刻意充斥着反讽、引用和网络内部笑话，旨在被字面理解并被任何扫描其含义的人（无论是人类还是机器）误解。²²²https://www.bellingcat.com/news/2019/03/15/shitposting-inspirational-terrorism-and-the-christchurch-mosque-massacre/

核心难点在于，相同的词语在不同语境中具有不同的力量。单词*threat*可以表示警告（“They threatened us”）、转述他人言论（“The article quoted the threat”），或拒绝它（“We condemn these threats”）。基于词项匹配的工具在三种情况下看到的证据高度相似；而读者则利用句法、立场、话语和说话者归属来区分它们。相反的问题同样重要：“They took everything from me. Tomorrow, they will answer for it”可以在不使用明显词典词项的情况下表达不满和威胁。这种工具应该计数文本包含的词项，还是判断其作者实际表达了什么？

这些并非边缘情况。不满，一种与专业威胁评估相关的感知性不公，是一种潜在的、依赖于上下文的构念，而非词袋（Meloy et al., 2012 (https://arxiv.org/html/2607.20946#bib.bib5); Gill et al., 2014 (https://arxiv.org/html/2607.20946#bib.bib6)）。Grievance Dictionary (van der Vegt et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib1)) 提供了一个可解释的起点：一个包含22个构念的加权词典，后来被翻译并在荷兰语、德语和意大利语中进行了心理测量评估 (van der Vegt et al., 2025 (https://arxiv.org/html/2607.20946#bib.bib2))。其清单固定了*测量什么*；加权词项出现只是决定*作者是否表达了它*的一种方式。

在检查一个现有的五种语言评估池时，我们发现其两半部分被词汇锚完美分离（每个“词典阳性”项目得分至少0.30，每个“随机”项目低于0.05）：后半部分是一个*词典阴性挑战集*，而非随机样本，但三位注释者的共识仍在其中228个项目上标记了构念。由于仅针对目标句，该池也无法测试上下文是否会改变判断。这引出了三个问题：词典条件抽样在多大程度上扭曲了词汇分数所测量的内容（RQ1）；在无条件抽样的文本中，不满构念有多普遍，当词典不选择测试集时，它们被测量得有多好（RQ2）；阅读完整帖子是否会改变判断并改进模型，以及在哪些方面（RQ3）？

为了回答这些问题，我们贡献了：\(i\) 一项*选择分析*，量化循环性以及隐藏于锚阈值以下的共识标记证据（RQ1）；\(ii\) 一个*测量框架*，保留词典的22个构念本体，将词汇分数降级为一种易错工具，并按立场、归属、话语和多语种实现对其失败进行类型化；\(iii\) 一个*非循环的五语言基准*，包含无条件随机层，首次给出了这些构念的基础比率估计（12.9% \），再加上平衡的仅目标句/完整上下文子集（RQ2）；以及 \(iv\) *配对证据*表明上下文有效：完整帖子编码器在其仅目标句对应版本上，在每个层次都表现更好，在词典无反应时提升最大（相对平均精确度提升39%），增益集中在引用、隐含和跨句子不满上（RQ3）。

参见图注图1：通过阅读上下文而非匹配词项来测量不满。\(a\) 来自五语言池中的两个真实目标句。一个谴责暴力的意大利语句子仍然激活了六个词汇构念（显示了三个），而一个锚得分为0的英语句子带有三位注释者给出的不满评分2，其感知不公仅由源帖子提供。\(b\) 我们保留Grievance Dictionary的22个构念本体，但通过在完整帖子中阅读已标记的目标句来对每个构念评分，使用一个多语种编码器和跨英语、荷兰语、德语、意大利语和法语的共享标签空间。目标句已缩短，省略了用户元数据；其仅目标句共识标签并非完全上下文的裁定。
## 2 相关工作

##### 不满作为词汇测量。

威胁评估研究将不满及相关的警告行为识别为可能相关的信号，同时强调没有孤立的语言标记能证明意图 (Meloy et al., 2012 (https://arxiv.org/html/2607.20946#bib.bib5); Gill et al., 2014 (https://arxiv.org/html/2607.20946#bib.bib6))。因此，计算工作探索了激进化和威胁的语言标记 (Brynielsson et al., 2013 (https://arxiv.org/html/2607.20946#bib.bib11); Cohen et al., 2014 (https://arxiv.org/html/2607.20946#bib.bib10))。Grievance Dictionary (van der Vegt et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib1)) 将加权词项组织成22个构念，延续了像LIWC (Tausczik and Pennebaker, 2010 (https://arxiv.org/html/2607.20946#bib.bib12); Pennebaker et al., 2015 (https://arxiv.org/html/2607.20946#bib.bib15)) 这类基于心理学资源的传统。后来翻译成荷兰语、德语和意大利语显示了多语种扩展的价值，但也存在可靠性不一的问题，尤其是某些意大利语类别 (van der Vegt et al., 2025 (https://arxiv.org/html/2607.20946#bib.bib2))。我们保留了这一构念清单，同时将其词项列表视为一种易错的测量工具，而非地面真值。

##### 上下文与功能评估。

词典透明、成本低且可重复，但词袋分数无法建模组合意义或话语立场。关于辱骂和仇恨言论的相关工作展示了在否定、引用、反言论、语言回收和说话者归属下的失败 (Röttger et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib16); Kennedy et al., 2020 (https://arxiv.org/html/2607.20946#bib.bib17))。功能测试尤其有用，因为整体域内分数可能掩盖此类系统性失败。我们的关注点有两方面不同：不满涵盖的构念清单比仇恨或冒犯更广泛，并且我们的分析单位是在已标记源帖子内部解释的目标句。我们进一步将用于*抽样*评估集的方法视为效度论证的一部分，因为词典条件池优先暴露词典已检索到的案例 (Hovy and Prabhumoye, 2021 (https://arxiv.org/html/2607.20946#bib.bib18))。

##### 构念效度与主观注释。

将构念与其操作化分离开来遵循经典的构念效度：分数仅相对于工具所支持的推断才有意义 (Cronbach and Meehl, 1955 (https://arxiv.org/html/2607.20946#bib.bib13); Messick, 1995 (https://arxiv.org/html/2607.20946#bib.bib14))。句子级不满是主观的，因此需要重复注释和明确处理分歧 (Artstein and Poesio, 2008 (https://arxiv.org/html/2607.20946#bib.bib28); Krippendorff, 2004 (https://arxiv.org/html/2607.20946#bib.bib29); Plank, 2022 (https://arxiv.org/html/2607.20946#bib.bib30); Uma et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib31))。现有的仅目标句池仅存储每个条目三位注释者的最终共识，而非其独立评分，因此其分歧统计无法重建；我们的上下文基准通过语言和条件保留了个人和裁定标签。

##### 多语种上下文模型。

多语种编码器如mBERT、XLM-R和mDeBERTa支持跨语言的共享表示 (Devlin et al., 2019 (https://arxiv.org/html/2607.20946#bib.bib19); Conneau et al., 2020 (https://arxiv.org/html/2607.20946#bib.bib20); He et al., 2023 (https://arxiv.org/html/2607.20946#bib.bib21))，并在跨语言泛化方面有基准 (Hu et al., 2020 (https://arxiv.org/html/2607.20946#bib.bib23))。多语种辱骂和冒犯性语言基准展示了跨语言评估的价值与困难 (Basile et al., 2019 (https://arxiv.org/html/2607.20946#bib.bib24); Zampieri et al., 2019 (https://arxiv.org/html/2607.20946#bib.bib25); Mandl et al., 2019 (https://arxiv.org/html/2607.20946#bib.bib26); Pamungkas and Patti, 2019 (https://arxiv.org/html/2607.20946#bib.bib27))。我们的目标并非一般毒性：22个不满构念包括不满、固执、绝望、计划、威胁和武器。因此，共享上下文编码器按语言和构念进行评估，汇总分数作为次要考虑。

##### LLM监督与蒸馏。

LLM可以提供可扩展的临时注释 (Gilardi et al., 2023 (https://arxiv.org/html/2607.20946#bib.bib35); Ding et al., 2023 (https://arxiv.org/html/2607.20946#bib.bib36))，其输出可以监督较小的模型 (Hinton et al., 2015 (https://arxiv.org/html/2607.20946#bib.bib33); Sanh et al., 2019 (https://arxiv.org/html/2607.20946#bib.bib34); Wang et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib38); Hsieh et al., 2023 (https://arxiv.org/html/2607.20946#bib.bib37); Li et al., 2025 (https://arxiv.org/html/2607.20946#bib.bib4))，尽管此类伪标签有噪声且需要仔细选择 (Song et al., 2022 (https://arxiv.org/html/2607.20946#bib.bib39))。知识蒸馏中的样本级权重本身是成熟的 (Lu et al., 2021 (https://arxiv.org/html/2607.20946#bib.bib3))；我们评估了不确定性加权变体作为次要训练条件 (附录C (https://arxiv.org/html/2607.20946#A3))。在本文中，蒸馏是通向可部署多语种上下文基线的一种实现途径；人工效度和非循环评估仍然是核心贡献。

## 3 方法论

### 3.1 从词项匹配到构念表达

Grievance Dictionary 捆绑了两个可分离的对象：一个构念清单 C=\{c1,...,c22\} 和一个通过加权词项匹配对每个构念进行评分的词汇规则。我们保留该清单并替换该规则。语言 ℓ 中的帖子 p=(x1,...,xJp) 包含一个目标句子 xj；对于每个构念 c，系统预测 yjc = fc(xj∣p,ℓ) ∈ [0,1]，即帖子作者通过 xj 表达 c 的程度，并在完整标记帖子的上下文中进行解读。预测单位始终是目标句子，因此每个输出仍与词典的输出可比；帖子仅作为解决立场、归属和跨句子含义的证据进入。整体不满判断由单独输出头在相同的 0–3 尺度上预测，绝不会作为第 23 个构念。

两个属性固定了任务。它保存了本体：每个输出与词典构念一一对应。它改变了测量方式：列出的词项对于正面标签既非必要也非充分，这使词汇规则从 yjc 的定义降级为其一种易错估计器。

### 3.2 跨语言迁移 22 个构念

必须存活于翻译过程的对象是本体，而非任何词表。每个构念 c∈C 由单一语言无关的定义固定；英语源定义由母语者翻译为荷兰语、德语、意大利语和法语，并经过回译检查，因此任何语言的注释者或模型都针对同一构念进行评分，而非本地重新推导的构念。因此，22 个标签形成一个共享输出空间：构念 c 对每种语言 ℓ 占据相同索引，且没有语言引入、拆分或合并构念。

迁移在不同层面进入每个工具。词汇锚在*词项*层面迁移：其加权列表是已验证的荷兰语、德语和意大利语词典翻译 (van der Vegt et al., 2025 (https://arxiv.org/html/2607.20946#bib.bib2))，加上一个