SWARM：用于检测搜索引擎结果中俄罗斯宣传的多语言人类标注数据集

# Swarm：一个用于搜索引擎中俄罗斯宣传检测的多语言人工标注数据集  
来源：https://arxiv.org/html/2609.12653  

Abhinav Dubey  
隶属机构：魏岑鲍姆研究所  
Farhan Shaikh  
隶属机构：魏岑鲍姆研究所  
Ilaria Vitulano  
隶属机构：魏岑鲍姆研究所  
Martha Stolze  
隶属机构：魏岑鲍姆研究所  
Hale Dedeoglu  
隶属机构：魏岑鲍姆研究所  
Clara Riechert  
隶属机构：魏岑鲍姆研究所  
Ella Kuka  
隶属机构：魏岑鲍姆研究所  
Maryna Sydorova  
隶属机构：伯尔尼大学  
Mykola Makhortykh  
隶属机构：伯尔尼大学  
Elizaveta Kuznetsova  
隶属机构：魏岑鲍姆研究所  

###### 摘要  
俄罗斯国家宣传在多种语言和网络空间传播。然而，大多数计算研究仅关注其中一个空间（通常是社交媒体），且只涉及一两种语言，分析重点在于来源而非内容。我们推出了Swarm（Search-Web documents Annotated for Russian propaganda, Multilingual）数据集，包含来自九种语言和不同网络领域（如新闻、博客、政府网站）的2,183条搜索引擎结果，每条结果均由训练有素的标注员标注其是否支持某个反复出现的俄罗斯宣传叙事。我们基于这些标签对基于来源的黑名单、监督分类器和零样本大语言模型进行了基准测试。黑名单漏掉了大多数支持宣传的文档，因为此类内容不仅限于被标记的“宣传”渠道，也出现在主流媒体中。内容层面的分析有所帮助，但效果取决于模型：最强的大语言模型在正类上的F1值达到0.73，而监督分类器仅达到约0.50，较小的模型则过度预测支持倾向，将主题相关性误判为支持。因此，检测搜索引擎中的宣传需要针对不同语言进行内容层面的评估，我们希望Swarm和我们的评估代码能为此提供支持。  
**内容提示**：本文引用了包括非人化元素在内的宣传叙事。请参见标题  

图1：Swarm流程概览：源自亲克里姆林宫叙事的查询（九种语言，四个搜索引擎）检索文档，标注员对文档是否支持目标叙事进行标注，形成叙事支持检测模型的基准。  

## 1 引言  
宣传是通过系统性操控公众意见以产生符合实施者利益的支持（Zollmann, 2019）。长期以来，这一直是俄罗斯国家的工具，在2022年入侵乌克兰后加剧（Geissler等, 2023; Matter等, 2023）。这种操控按计划发挥作用，持续接触亲克里姆林宫叙事会增加公众对入侵的支持（Krishnarajan和Tolstrup, 2023）。为了大规模应对此类操控，大量自然语言处理工作致力于宣传检测（Da San Martino等, 2020）。然而，该领域的先前工作存在四个主要局限：首先，先前工作聚焦的领域狭窄，现有模型仅关注少数内容类型（主要是新闻和社交媒体），尚不清楚它们是否能推广到其他领域；其次，语言覆盖有限，通常仅以英语或俄语为代表，而俄罗斯宣传可能在多种语言中传播；第三，现有标签往往不可靠，少数可用的大规模数据集依赖基于来源的弱标签，将文档与其发布渠道的声誉挂钩，而非判断其内容（Barrón-Cedeño等, 2019）；最后，现有标签方案仅捕捉文档中出现的叙事或说服技巧，而非文档是否支持该叙事。  

为填补这些空白，我们推出了Swarm（Search-Web documents Annotated for Russian propaganda, Multilingual）多语言宣传叙事检测数据集，基于对搜索引擎的代理审计构建（§3，图1）。Swarm包含四大搜索引擎针对20个亲克里姆林宫叙事查询返回的2,183个文档，涵盖九种语言（阿拉伯语、英语、德语、印地语、波兰语、葡萄牙语、俄语、西班牙语、乌克兰语）。训练有素的标注员为每个文档标注其是否支持特定叙事（例如“西方对俄制裁正在摧毁欧洲经济”），从而生成针对具体叙事的标签，而非宽泛的宣传存在判断。我们随后基于这些标签对两种方法进行了基准测试（§4，§5）：一种基于来源的基线方法，根据发布渠道的声誉标注文档；以及基于内容的模型，判断文本本身，包括监督分类器和零样本大语言模型。基于来源的基线方法漏掉了大多数支持叙事的文档，因为此类支持不限于被标记的宣传渠道，也出现在主流媒体中。基于内容的模型表现更好：零样本大语言模型在少数支持类上优于监督基线，尽管较小的模型系统性地过度预测该类别，将主题相关性与支持混为一谈。  

总之，我们的贡献如下：  
- • 我们发布了Swarm，这是首个用于检测搜索引擎中俄罗斯宣传叙事支持的多语言人工标注数据集，涵盖九种语言的2,183个文档（§3），仅限研究用途访问（受限访问）。111https://huggingface.co/datasets/manueltonneau/SWARM  
- • 我们提出了一个包含20个反复出现的亲克里姆林宫叙事框架，围绕五个核心行动者群体（美国、“西方”、欧盟、俄罗斯和乌克兰）组织，为网络内容中的叙事支持检测提供了结构化基础（§3）。  
- • 我们基于人工标签对检测方法进行了基准测试，包括基于来源的黑名单、监督分类器以及开放和闭源零样本大语言模型（§4，§5）。  

## 2 相关工作  

表1：先前宣传数据集与Swarm在领域、语言数量、标注单元、目标标签、标注来源和规模方面的比较。文中讨论了更多技术层面的数据集。  

#### 真实性、框架与叙事  
大多数关于在线操控的计算工作针对*真实性*，判断一个声明是被支持、反驳还是无法验证（Guo等, 2022）。这与宣传的定义不符，宣传是通过*框架*和*叙事*影响意图，而非事实（Zollmann, 2019; Da San Martino等, 2020）。框架突出现实中的某些方面，以推广问题定义或解决方案（Entman, 1993; Otmakhova等, 2024），例如聚焦西方制裁带来的经济痛苦；而叙事则对行动者和事件进行排序，以分配因果和责任（Bruner, 1991; Abbott, 2021），例如讲述制裁适得其反、惩罚普通欧洲人的故事。因为这些内容可能真实、无法证伪或含有价值取向（Wardle和Derakhshan, 2017），事实准确性无法揭示文档是否支持它。立场检测更接近（Hardalov等, 2022），但它针对文本对单个明确命题的立场，而支持宣传叙事不一定涉及对某个声明的明确立场。这些任务中没有一个标注文档是否支持特定的反复出现的叙事，这是我们的目标，它不能简化为主题或情感（de Vreese, 2005; Matthes和Kohring, 2008）。  

#### 宣传数据集  
现有数据集使用三种标注方案，均未记录叙事支持。大多数标注片段的*说服技巧*（Da San Martino等, 2019; Gupta等, 2019）。其他数据集根据发布渠道的宣传状态标注文档（Rashkin等, 2017; Barrón-Cedeño等, 2019; Solopova等, 2023），这在不同领域迁移性差（Wang等, 2020; Maarouf等, 2024）。较新的一类从固定分类法分配叙事（Piskorski等, 2025; Rizgelienė等, 2025），这是叙事分类，而非支持。它们也主要基于社交媒体（Geissler等, 2023; Vanetik等, 2023），很少超出英语和俄语（Alam等, 2022; Chernyavskiy等, 2024）。即使是最近的资源EUvsDisinfo（Leite等, 2024）和RU22Fact（Zeng等, 2024），标注的也是虚假信息或真实性，而非叙事支持。Swarm是首个在多种语言和网络领域提供人工、文档级叙事支持标签的数据集（表1）。  

#### 搜索引擎  
搜索引擎是在线信息的主要门户，作为渠道与社交媒体不同：用户带着明确的信息需求到来，排名体现的是平台而非社会认同。搜索引擎也是被主动操控的目标：“数据空白”（即缺乏权威内容的查询）可能被低质量材料填充（Golebiewski和boyd, 2019），亲克里姆林宫行动利用这些空白将其来源推到排名前列（Williams和Carley, 2023）。算法审计证实了这种影响，搜索引擎在俄乌话题（尤其是俄语中）呈现了大量错误信息（Kuznetsova等, 2026），这些内容现在通过大规模“培养”活动污染了大语言模型的检索和训练语料库（Lesplingart和Châtelet, 2025）。尽管搜索引擎存在这种触及和被操控的风险，宣传检测工作却很大程度上忽视了它们。实际上，审计描述了搜索引擎*呈现*的内容，但未深入检测结果中的叙事支持。据我们所知，Swarm是首个标注多语言搜索引擎结果中宣传叙事支持的数据集，判断基于内容而非来源。  

## 3 Swarm数据集  
Swarm是一个用于宣传支持检测的多语言数据集：搜索结果，每个结果都手工标注其链接的*文档*（结果链接的网页或PDF）是否支持反复出现的俄罗斯宣传叙事。全文中，*叙事*指亲克里姆林宫话语中反复出现的元素。为使每个叙事可核查，我们将其表述为一个是/否*问题*，并认为当该问题的答案为“是”时，文档*支持*该叙事。本节描述数据集的构建过程：查询设计、审计、采样、爬取和标注。  

### 3.1 查询语料库  
我们定义了二十个俄罗斯宣传叙事，围绕五个行动者群体组织：美国、“西方”、欧洲/欧盟、俄罗斯和乌克兰。这些叙事取自俄罗斯国家媒体报道中反复出现的主题，涵盖政治、经济、战争、亲俄/反西方价值观以及反性别/LGBTQ价值观（Matter等, 2023）。每个叙事转化为两个搜索查询，一个宣传框架和一个中立（例如“西方制裁正在摧毁欧洲经济”与“西方制裁对欧洲经济的影响”），并与一个用于操作该叙事的是/否*问题*配对（例如“对俄制裁是否主要损害欧盟的经济和民众？”）。二十个问题列于附录C。查询由母语者翻译成九种语言（阿拉伯语、英语、德语、印地语、波兰语、葡萄牙语、俄语、西班牙语和乌克兰语），每种语言40个查询，总计360个查询。  

### 3.2 算法审计  
数据通过基于代理的算法审计收集（Ulloa等, 2024），其中编程脚本模拟人类浏览行为。使用Google Compute Engine，我们在六个区域（美国内华达、印度孟买、卡塔尔多哈、巴西圣保罗、波兰华沙和德国法兰克福）部署它们，每个区域运行两个浏览器（Firefox和Chrome）。每个查询在所有六个区域发出，因此每种语言都在所有位置被观测到。代理在2024年1月29-30日通过文本搜索界面向Google、Bing、Yandex和DuckDuckGo发出所有查询。审计产生超过130万条结果列表，包含来自7,191个独立域名的30,265个独立URL。  

### 3.3 采样  
我们对收集的结果进行分层抽样：对于每种语言，每个叙事抽取15个结果，来自该叙事的宣传框架和中立查询，每种语言产生300个文档（九种语言共2,700个）。由于15是奇数，两种框架无法在叙事内均匀分配。在整个样本中，53%的结果来自宣传框架查询，47%来自中立查询，每种语言中宣传框架的比例从46%（印地语）到59%（乌克兰语）不等。样本覆盖审计中的搜索引擎和区域，使其成为真实搜索结果环境的设计样本，而非便利收集。  

### 3.4 爬取  
每个样本页面被爬取，主要文本被提取，对HTML页面使用trafilatura（Barbaresi, 2021），对PDF文档使用pdfplumber222https://github.com/jsvine/pdfplumber。仅当可以提取干净的文本并随后由标注员评估时，URL才进入数据集。标注员和模型判断完整文档文本，而非搜索引擎结果列表中显示的片段。正如大规模网络收集所预期，一部分URL因付费墙、机器人保护、客户端渲染、死链接以及被阻止或无法解析的域名而无法提取可用文本，恢复流程（使用Wayback Machine333https://web.archive.org进行实时重新获取）恢复了部分缺口（附录H）。标注后，最终保留了2,700个抽样行中的2,183个，保留率因语言而异（表2）。未保留的517个抽样行对应503个独立URL，因为有些URL被抽样两次。提取失败导致其中293个，计入页面r