SpeechSense：一个聚焦副语言线索的细粒度语音情感分析数据集

# 面向细粒度语音情感分析的副语言特征数据集
来源: https://arxiv.org/html/2608.17931
## SpeechSense：一个面向细粒度语音情感分析的副语言特征数据集
会议：第34届ACM国际多媒体会议论文集；2026年11月10日至14日；巴西里约热内卢
第34届ACM国际多媒体会议论文集 (MM '26)，2026年11月10日至14日，巴西里约热内卢
DOI: 10.1145/3767308.3838667 (https://doi.org/10.1145/3767308.3838667)
ISBN: 979-8-4007-2213-4/2026/11
CCS：信息系统 情感分析
CCS：计算方法学 语言资源
CCS：计算方法学 神经网络
CCS：应用计算 声音与音乐计算

**马世成**
单位：香港中文大学计算机科学与工程系，香港
邮箱：[[email protected]](mailto:[email protected])

**崔文谦**
单位：香港中文大学计算机科学与工程系，香港
邮箱：[[email protected]](mailto:[email protected])

**Irwin King**
单位：香港中文大学计算机科学与工程系，香港
邮箱：[[email protected]](mailto:[email protected])

2026；© cc

###### 摘要

人工智能的最新进展彻底改变了语音处理，但有效的语音理解不仅需要辨别说了**什么**，还需要辨别**如何**说的。语音情感分析在解码这些副语言线索方面扮演着关键角色，可用于招聘、客户服务等多种现实世界应用。然而，现有的语音情感分析研究面临两大主要局限。首先，主流方法依赖于以文本为中心的级联流程，将自动语音识别与文本分析相结合。此过程不可避免地丢弃了韵律和语调等关键声学特征，无法捕捉声学模糊话语中的态度含义。其次，当前基准在标签粒度上存在错位，优先考虑基本情绪（如快乐、悲伤），而忽视了社交敏感性所需的细微人际立场（如自信、不耐）。为解决这些局限，我们提出了一个新的细粒度语音情感分析数据集——SpeechSense。具体而言，我们定义了一个专门的8类人际立场分类体系，主要通过韵律线索而非词汇内容本身来检测。随后，我们基于此分类体系，利用高保真语音合成和严格的人工验证，构建了一个精心策划的数据集。在多模态大型语言模型、纯文本大型语言模型和语音编码器上的全面实验表明，具备声学访问能力的模型始终优于纯文本基线。这些结果从经验上验证了声学线索在检测说话者细微态度方面的首要地位，凸显了SpeechSense的必要性。
1  数据集和补充材料：https://github.com/Sher13cked/SpeechSense

###### 关键词：

语音情感分析，副语言学，多模态大型语言模型，合成数据

†† cc 许可：by

## 1. 引言

人工智能（AI）的最新进展极大地提升了机器处理和理解人类语音的能力，使得从自动转录服务到端到端语音助手的各种应用成为可能。为了实现有效的语音理解，AI模型不仅需要识别说了**什么**（语言信息），还需要辨别**如何**说的（副语言信息），因为副语言信息承载了超出语音内容本身的额外含义。一个涉及副语言理解的重要任务是语音情感分析（SSA），即分析声学线索以解码说话者细微的态度和情感状态。这种能力在专业场景中尤为关键，例如在线招聘、客户服务和医疗保健。例如，在面试中区分“自信”与“紧张”的表达方式，能够提供单纯依赖语音内容所无法获得的洞见。

然而，现有的SSA研究面临两大关键局限。首先，主流方法严重依赖以文本为中心的流程。在这些系统中，语音首先通过自动语音识别（ASR）转换为文本，然后应用基于文本的情感分析（TSA）模型。这种级联方法不可避免地丢弃了包括声音韵律、语调、停顿、重音和语速在内的副语言线索。然而，这些声学特征往往是态度含义的主要载体。例如，“我们不能再等十年了”这一短语，完全取决于声学表达方式，既可以表达热切的倡导，也可以表达不耐烦的恼怒。这种区别在文本转录中丢失了。此外，ASR阶段的潜在转录错误也会显著降低下游情感分析的性能。其次，现有研究在标签粒度上存在错位。当前大多数数据集关注宽泛的情感，如积极或消极，或基本情绪如快乐和悲伤。该领域的主流数据集，包括IEMOCAP、RAVDESS和CREMA-D，都基于这些分类情绪。虽然对基本分类有用，但这些标签未能捕捉细微的人际立场。

为解决这些局限，我们提出了一个新的细粒度语音情感检测数据集——SpeechSense，该数据集优先考虑韵律特征而非语义内容。具体而言，我们引入了一个专门的8类标签集，旨在反映多样化的说话者个性和状态，包括自信、紧张、热情、冷漠、热情、不耐烦、讽刺和中立——所有这些主要通过韵律线索而非词汇内容本身来检测。为克服这些态度的人类录制语音稀缺的问题，我们利用具有代表性的文本转语音（TTS）合成技术来生成富含韵律的样本，从而构建该数据集。这些样本随后经过严格的人工标注验证。最后，我们通过跨多模态大型语言模型（LLMs）、纯文本大型语言模型和语音编码器的实验验证了我们的数据集。我们的结果表明，具备声学访问能力的模型在所有架构中始终优于纯文本基线，证实了韵律线索在细粒度情感检测中的首要地位。

我们的主要贡献总结如下：
- 我们定义了一个细粒度的、以副语言特征为中心的情感标签集，捕捉超出标准基本情绪的细微说话者状态。
- 我们引入了一个结合高保真合成语音与人工验证的精心策划的数据集，解决了态度标签数据稀缺的问题。
- 我们通过多模态大型语言模型、纯文本大型语言模型和语音编码器验证了该数据集，证明了声学访问对于细粒度情感检测的必要性。

## 2. 相关工作

### 2.1. 语音情感识别数据集

SSA直接建立在语音情感识别（SER）之上，后者传统上侧重于识别基本情绪状态。我们首先回顾已建立的SER数据集，以发现其在捕捉复杂社会态度方面的局限性。IEMOCAP数据库包含约12小时的音视频数据，仍然是最广泛使用的语料库，标注有愤怒、快乐、悲伤和中性等分类情绪。同样，RAVDESS和CREMA-D提供了类似基本情绪类别的表演语音样本。EMO-DB提供了高质量的德语情感语音，但仅限于七类。尽管这些数据集做出了贡献，但它们共享一个关键局限：它们主要建模基本**情绪**，而非细微的**态度**或**人际立场**。这一差距凸显了为自信或冷漠等细粒度说话者状态定制新数据集的需求。

### 2.2. 方法范式

SSA的方法通常分为两种范式：级联式和端到端。级联式范式在工业应用中占主导地位，将语音分析视为两阶段过程：ASR将音频转换为文本，然后由TSA模型进行情感分类。虽然这利用了大型语言模型的语义推理能力，但它存在固有缺陷。首先，它容易受到误差传播的影响；Li等人证明，ASR转录中的词错误率（WER）会显著降低下游情感检测的准确性。其次，转换为文本不可逆地剥离了副语言信息——信息的“如何”表达。研究表明，韵律线索（如音高轮廓、节奏）通常独立于语言内容，甚至与之矛盾（例如在讽刺中）。相比之下，端到端方法直接处理原始音频波形或连续语音表示，保留了副语言保真度。Whisper、HuBERT和Wav2Vec2等语音编码器从大规模音频数据中学习丰富的声学表示，并在语音情感识别方面表现出色。最近，多模态大型语言模型（如Qwen2.5-Omni、GPT-4o）通过在统一架构中整合声学和语言信息，展示了直接理解语音的可行性。然而，很少有研究专门针对本文提出的细粒度情感检测优化这些架构。

### 2.3. 语音处理中的合成数据

特定副语言状态标注数据的稀缺推动了合成数据生成的研究。虽然早期的SER研究严格依赖于人类录制的语音，但富有表现力的TTS的最新进展使合成数据成为训练和增强的可行替代方案。Ma等人通过实证验证，在高质量合成情感语音上训练的SER模型可以达到有竞争力的性能，有效解决了低资源情感类别的数据稀缺问题。此外，最近的工作如EmoNet-Voice（2025）已成功利用专家验证的合成语音创建了细粒度情感基准。沿着这一轨迹，我们利用基于斯坦尼斯拉夫斯基情感诱发方法的“角色扮演”提示策略，以实现复杂说话者态度所需的高保真韵律实现。

## 3. SpeechSense 数据集

SpeechSense 捕捉细微的人际立场，而非现有语料库所针对的高强度基本情绪。

### 3.1. 细粒度情感标签集

与基本情绪不同，我们的目标是检测对理解复杂社交动态至关重要的**说话者态度**和**人际立场**。离散情感框架，如Ekman的基本情绪和Plutchik的情绪轮，旨在描述内部情感状态，而非针对交流对象的交流立场。现有对人际立场的描述大多是维度性的，尚未标准化离散类别集来标注语音中的人际立场。我们引入了一个源于既定声学心理学研究的细粒度8类标签集。为突出其独特的韵律特征，这些标签根据其主要的声学和交互属性组织成四个比较组：内部确定性、高能量效价、社会联结和韵律偏差。我们并非直接采用现有方案，而是将情感模型（如PAD）的基本维度原则——效价、唤醒和支配——应用于人际情境，将每一组组织为对比对，以孤立出一个这样的区分。第四组还捕捉了语音特有的一个正交方面：韵律与词汇内容之间的对齐。表1详细说明了每种态度的定义和声学特征。

表1. SpeechSense标签集。标签根据共享的声学和交互特征分为四个属性组，以捕捉细微的说话者立场。

| 属性组 | 标签 | 声学与心理学定义 |
| :--- | :--- | :--- |
| **内部确定性（心理状态）** | 自信 | 信号支配性和确定性。声学特征为时长较短、强度较高、语调轮廓果断下降。 |
| | 紧张 | 信号焦虑... |

（注：表格的其余内容未提供，翻译在此处暂停。）