公共话语语料库（PDC）：一个用于效价和认知模态的说话者归属数据集，包含目标说话者参与

# 用于效价和认知情态标注的公共话语语料库：包含目标说话人参与类别
来源：https://arxiv.org/html/2609.20232
###### 摘要

我们推出**公共话语语料库（Public Discourse Corpus, PDC）**——首个同时标注情感效价与认知情态的公众人物访谈语音数据集。该语料库包含来自7个职业领域100位说话人的998个视频，经句子分割与过滤后产生186,642个句子（约310万词）。为确保所有保留的视频均包含目标说话人可分析的语音，我们引入**目标说话人参与度（Target Speaker Participation, TSP）**——一个包含五类标注体系且具备可记录的标注者间信度（κ=0.616）的分类方法，该方法可被任何语料库构建项目采纳。目标说话人话轮与主持人及第三方语音的分离通过**音频优先的说话人分割流程**实现，该流程结合了本地Whisper ASR与pyannote说话人分离技术，现以开源形式发布。我们同步开放标注语料库、标注工具、跨平台验证样本及完整处理流程。数据集可通过https://huggingface.co/datasets/ictchenbo/public-discourse-corpus访问。

关键词：标注语料库，说话人分割，效价，认知情态，公共话语，目标说话人参与度，大语言模型

## 1引言

计算社会科学（CSS）日益依赖自然语言处理技术大规模测量心理与修辞构念——如情感倾向、确定性、情绪与立场\[8 (https://arxiv.org/html/2609.20232#bib.bib8),9 (https://arxiv.org/html/2609.20232#bib.bib9)\]。主流范式已相当成熟：基于词典的方法（LIWC\[4\]、VADER\[3\]）、基于变换器的分类器（BERT\[5\]、RoBERTa\[6\]）以及用于零样本标注的大语言模型（LLMs）\[7\]。

然而现有标注资源存在关键缺口。现有关于公共话语的语料库仅提供情感标签或情态标签，尚无数据集能对同一说话人归属的话语同时标注这两个维度（见表1）。这一遗漏影响重大：若无法对同一具有明确说话人身份的话语单元同时标注这两个维度，就无法研究说话人**所述内容**（效价）与**断言方式的强弱**（情态）之间的关系。例如，研究者目前无法探究央行官员在表达负面与正面经济预测时是否存在不同程度的措辞保留，或不同党派政治家在描述对手负面主张时是否存在语气强弱差异。此类问题需要将效价与情态标签同时关联说话人元数据——而这种资源目前尚不存在。

从YouTube构建此类语料库面临现实挑战：自动视频检索会返回大量**关于**公众人物但并非其本人讲话的内容。在我们对122个随机抽样候选视频的人工审查中，47%为第三方内容（新闻报道、小组讨论、纪录片旁白）而非目标说话人参与的访谈。若不进行系统验证，近半数自动检索内容会被错误归属，从而污染下游分析。

为此，我们推出**公共话语语料库（PDC）**——一个包含7个职业领域100位说话人998个视频的说话人归属数据集，其中186,642个句子同时标注了情感效价与认知情态。PDC是我们的主要贡献。为确保所有保留的视频均包含目标说话人的可分析语音，我们开发了**目标说话人参与度（TSP）**——一个系统化的五类分类法，用于验证自动检索视频中目标说话人的存在。TSP本身即为关键方法论贡献：它解决了媒体源语料库构建中普遍存在的“关于某人内容与本人讲话”的区别问题，并通过可记录的标注者间信度（五类分类κ=0.616）得到验证。目标说话人话轮与主持人及第三方语音的分离通过**音频优先的说话人分割流程**实现，该流程利用声学话轮证据而非纯文本启发式方法；该流程已作为开源软件发布以支持复用与验证。

我们的贡献包括：

1.  **公共话语语料库（PDC）——主要贡献**：首个同时标注情感效价与认知情态的公共话语语料库，涵盖7个领域100位说话人的998个视频（186,642个句子）。该语料库使得此前在规模与领域多样性上难以实现的评价性语言与认知承诺交互作用研究成为可能。
2.  **目标说话人参与度（TSP）——关键方法论贡献**：一套可复用的分类法与标注协议，用于在从视频源构建语料库时验证目标说话人的存在，附带可记录的标注者间信度（五类分类κ=0.616）及发布的标注指南。
3.  **音频优先构建流程——实施贡献**：一个结合Whisper large-v3、pyannote/speaker-diarization-3.1与基于LLM的双维度标注的开源全流程本地化管线，可完整复现PDC构建过程。

##### 研究者如何使用PDC

语料库以三个可关联的JSONL文件形式发布（参见第4.2节）。研究者可按领域、TSP类别或说话人筛选构建分析子集；计算每位说话人的效价与情态特征；并在多个聚合层级分析跨维度关系。分层跨平台验证样本（第6.3节）使用户能量化自身分析中的标签不确定性。第4.3节提供了具体示例。

## 2相关工作

### 2.1公共话语数据集

表1展示了PDC与现有资源的定位。CMU-MOSEI\[11\]提供YouTube独白视频的情感标注；IEMOCAP\[12\]与MELD\[13\]标注表演或剧本化情感语音；MPQA\[14\]涵盖新闻文本的情感与主观性；FactBank\[15\]提供事实性标签。尚无现有语料库能在有意义的规模上为自然公共话语提供双维度（效价+认知情态）标注，且未解决PDC的TSP分类法所解决的目标说话人归属问题。

**表1：现有语料库与PDC的比较**  
PDC的独特之处在于其规模、双维度标注及覆盖100位说话人的跨领域特性。除数据集本身外，其构建方法——特别是TSP标注协议——为从视频源构建目标说话人语料库提供了可复现的路径。

### 2.2语料库构建中的说话人分割

说话人分割——将音频划分为说话人同质段落的任务——已取得显著进展。神经网络方法（pyannote\[17\]、NeMo¹、WhisperX²）和云服务（AssemblyAI³）可为干净音频提供高精度分割。然而现有研究主要将分割精度本身作为终点，通常在AMI或VoxConverse等数据集上进行基准测试。我们的贡献不同：我们并非将分割作为独立任务评估，而是将其视为**语料库构建组件**。核心问题是：对于构建标注数据集这一特定目标，音频证据（停顿时长、音高变化、声学特征）是否比纯文本推理提供更可靠的说话人归属。Chen\[1\]近期研究量化了流程选择对效价-情态测量的下游影响，这促使我们选择音频优先路线。

### 2.3基于LLM的标注

大语言模型的兴起使大规模零样本标注成为可能。Gilardi等人\[7\]证明ChatGPT在多项文本标注任务中优于众包工人。Ziems等人\[9\]综述了LLM在CSS领域的应用图景，指出提示敏感性与服务商特有偏差是关键挑战。在立场与情态领域，Kim等人\[10\]展示LLM可从企业文本中大规模提取情态相关构念。PDC采用基于LLM的标注同时处理效价与情态，并通过跨平台验证记录服务商特有差异（第6.3节）。我们的贡献并非新标注模型，而是**配对标注方案**——对同一话轮同时赋予效价与情态标签——应用于通过系统化预处理构建的说话人归属语料库。

## 3语料库构建流程

图1展示了语料库构建流程概览。灰色斜体节点表示数据制品（输入视频与最终语料库），白色方框代表第3.1-3.4节详述的四个处理阶段。

[数据收集（§3.1）→ 候选视频 → TSP标注（§3.2）→ TSP-2/3/4? → 是 → 基于音频的说话人分割（§3.3）→ 基于LLM的标注（§3.4）→ 最终语料库  
否（TSP-0/TSP-1）→ 排除]  
**图1：四阶段语料库构建流程。** 数据制品（灰色斜体）与处理阶段（白色方框）相区分。节点标注了§3对应的子章节编号。

### 3.1数据收集

针对每位说话人，通过yt-dlp⁴的搜索接口以说话人姓名为主查询词检索YouTube候选视频，并附加“interview”、“talk”、“podcast”后缀以优先获取对话内容。每次查询最多收集100条结果，去重后按上传日期排序。最终在124位说话人中获得2,479个独特候选视频。

说话人选择遵循七类职业领域的分层设计，以确保不同话语社区的代表性：

**表2：PDC的职业领域覆盖范围**  
搜索后进行基础可得性过滤：通过yt-dlp下载自动英文字幕（VTT）；移除不可用、私密或无英文字幕的视频；根据元数据语言标签排除非英语内容。合格候选视频在各说话人间均匀采样（设置每位说话人上限，使用固定随机种子保证可复现性），并同步下载m4a格式音频。关键的说话人归属验证——区分真实的第一人称讲话与第三方内容——通过第3.2节所述TSP协议手动完成。

每个选定视频保留的元数据包括YouTube ID、标题、上传日期、时长、频道名称及语言。时间跨度覆盖2016-2026年，2024-2026年采样更密集。此选择策略的局限性在第7节讨论。

### 3.2目标说话人参与度标注

从自动检索视频构建目标说话人语料库时，一个关键但常被低估的挑战是：搜索结果常包含**关于**目标人物而非其本人讲话的内容。现有公开数据集很少系统记录目标说话人的验证方式，导致标注话语的归属可靠性存在模糊性。为解决此缺口，我们在下游处理前引入人工**目标说话人参与度（TSP）**标注阶段。

TSP标注不按话题内容分类视频，而是描述目标说话人在每个候选视频中的参与模式，具有双重目的：（1）过滤不适于下游语言分析的自动收集视频；（2）记录目标说话人出现的对话上下文，作为后续说话人归属与语料库分层的元数据。

#### 3.2.1TSP标注分类法

我们根据目标说话人在收集视频中的角色定义五个互斥的参与类别：

**表3：目标说话人参与度（TSP）标注分类法**  
仅TSP-2、TSP-3和TSP-4类别视频被保留用于最终语料库。TSP-0和TSP-1视频从语料库中排除。

#### 3.2.2标注指南

为确保标注一致性，我们制定以下操作规则：
- **目标语音要求**：目标说话人必须产生足够连续的语音以支持下游语言分析。仅包含简短引述、孤立片段或偶然评论的视频被归类为TSP-1而非有效目标说话人数据。
- **主导对话角色**：分类由主导互动模式决定，而非简短开场或结尾片段。例如，一小时访谈前有一分钟新闻导语的视频标注为TSP-3。
- **目标说话人的对话角色**：目标说话人为唯一说话者的视频标注为TSP-4。目标说话人为唯一受访者（接受一位或多位主持人采访）的视频标注为TSP-3。主持人数量无关紧要；关键标准是目标是否为唯一应答者。目标说话人为多位共享发言权嘉宾之一的视频标注为TSP-2。
- **被提及与参与**：若目标人物主要由其他说话人讨论——无论是否展示照片、档案片段或简短引述语音——除非目标说话人主动参与对话，否则视频标注为TSP-1。

#### 3.2.3TSP设计原理

一个自然问题是：五类分类是否必要？核心过滤任务只需二元决策（保留/排除），为何不简化为两级分类？我们保留五类因其在过滤之外服务于两个不同目的。

首先，区分TSP-0（完全缺席）与TSP-1（被提及主题）可记录视频被排除的**原因**，从而诊断跨说话人与领域的检索质量。TSP-0捕捉检索噪音，TSP-1捕捉内容错配：视频**关于**说话人但不含其可分析语音。

其次，TSP-2、TSP-3与TSP-4并非过滤标签而是**对话元数据**。它们记录目标说话人在多边讨论中作为多位嘉宾之一、在访谈中作为唯一受访者，或作为