VocalAffectBench：评估AI音频模型中的声音情感识别

# VocalAffectBench：评估AI音频模型中的语音情感识别
来源：https://arxiv.org/html/2608.28932
Tyler Baumgartner所属机构：Besimple AI，美国加利福尼亚州圣马特奥Brandon Tai所属机构：\{luc, yi\}@besimple\.ai

###### 摘要

语音产品越来越需要捕捉语音中存在但转录文本中缺失的情感线索。我们推出了VocalAffectBench，这是一个公开的、仅用于测试的基准测试，旨在评估AI音频模型能否从原始音频中识别出表达出的语音情感。该基准测试包含来自52个说话者账户的280段人类录制的英语WAV片段，总时长2.32小时，涵盖七个标签：愤怒、厌恶、恐惧、快乐、中性、悲伤和惊讶，每个类别有40个片段。所有基线模型仅基于音频进行评估，不使用转录文本或上下文元数据。

在六个已发布的基线模型中，平均准确率为35.1%。最强的基线模型gemini_3_5_flash在七类任务上的准确率为44.3%，高于14.3%的随机基线，但远未达到稳健的情感识别水平。次要的效价桶分析将标签映射为积极、中性和消极三类，并排除效价模糊的惊讶类别。在这种更粗粒度的视角下，聚合准确率为49.2。不同类别的性能高度不均衡。按召回率来看，中性类别的识别最为可靠，基线平均召回率为76.2%，而惊讶和恐惧类别仅达到15.0%。这些结果表明，评估的基线模型可以从语音中提取一些情感信号，但离散的表达情绪识别依然脆弱，尤其是对于在语音代理工作流中通常最重要的非中性情绪。

## 引言

语音代理越来越多地调解那些语调、节奏、停顿和强度可以改变原本相同词语含义的交互。说“那行吧”的顾客可能是在让步、开玩笑、退缩或表达不满。转录文本保留了这句话，但无法保留使交互可解读的传递方式。

自动语音识别转录文本通常不足以满足此目的。仅基于文本的情感分析可以识别情感词汇，但它回答的问题与语音情感识别不同。仅在转录后应用情感分析的语音代理可能衡量的是词汇情感而非表达出的语音情感。

现有的情感语音资源通过可重复使用的语料库和共享评估任务推动了该领域的发展（Busso等人，2008年；Livingstone和Russo，2018年；Cao等人，2014年；Schuller等人，2018年）。然而，当任务设计和输出空间不同时，模型比较往往难以解释。对于在托管音频模型中进行选择的产品团队而言，一个紧凑的、具有公开预测和固定标签集的原始音频基准测试，可能比一个大型训练语料库更具可操作性。

VocalAffectBench通过一个小型、可审计的英语语音单标签表达情绪测试集来解决这一空白。该基准测试仅为测试集，发布数据集中每个类别数量相等。所有基线模型都在相同的280个片段上、使用相同的输入协议和标签映射策略进行评分，使比较易于检查和复现。

## 方法

### 基准测试设计

VocalAffectBench是一个用于表达情绪识别的仅测试基准测试。每个条目包含一个人类录制的英语音频片段、一个经验证的单一目标情绪标签以及基本的录制元数据。发布的音频格式为16 kHz单声道WAV。

目标是*表达出的*语音情绪。在收集过程中，说话者接收脚本文本，并在指定的特定情绪下进行演绎。脚本文本的编写旨在与多种指定情绪兼容，因此标签来源于要求的演绎方式，而非脚本中的情感词汇。我们只在人类审查后确认演绎与指定标签匹配时才保留片段。因此，该基准测试衡量的是模型能否识别录音中表达的情绪，而非其能否推断说话者内心的感受。

表1：数据集构成。每个标签有40个片段。
### 收集与整理

音频片段收集于2026年5月15日至6月2日期间，由人类说话者表演情感语音。收集使用了相同脚本协议。对于每项任务，说话者接收一个简短的生成脚本，并按三种指定情绪进行录制。生成的脚本使得相同的词语在每种情绪下都可能被合理演绎，而不是在词汇上强制对应单一标签。

收集后，一名审查员检查每个片段的音频质量和表达的演绎是否与所请求的情绪匹配。音频质量不足或表演情绪错误或不清晰的片段被排除在外。可供基准测试构建使用的审查池包含来自68位不同说话者的563个片段。

我们通过为七个情绪标签中的每一个选择40个经审查的片段来构建公开基准测试。所有公开片段均为单说话者英语录音。每个片段带有通用美式口音且无背景噪音。我们将发布的音频导出为16 kHz单声道WAV，未进行降噪、归一化或增强处理。

### 评估协议

六个基线模型在原始音频输入协议下进行评估。在推理时，被提示的音频模型接收音频文件和一个列出允许标签的固定指令：

> 从允许的标签集中选择恰好一个主要的表达情绪。仅基于表达出的语音语调、韵律、节奏、强度、停顿和措辞进行回答。不要推断说话者的私人内部状态。

不提供转录文本或上下文元数据给模型。对于不接受任意提示的供应商情感或韵律端点，评估会将音频文件以其默认设置提交到该端点。端点返回其原生情感标签或分数，然后在评分前映射到基准标签集。主要评估使用封闭的七标签分类目标：

愤怒 厌恶 恐惧 快乐 中性 悲伤 惊讶
此目标集有意采用传统而非详尽的分类。六个非中性标签遵循Ekman广泛使用的基本情绪分类法（Ekman，1992年）。我们包括中性是因为先前的语音情绪基准测试将其用作控制或非情感类别，包括RAVDESS（Livingstone和Russo，2018年）。它也反映了已部署语音代理的实践需求，这些代理通常需要将显著情感与普通表达区分开来。这一选择并未假设所有情绪都可归结为七个普遍类别。它提供了一个紧凑、熟悉、可审计的标签空间，用于比较音频模型。

供应商输出可能使用原生情感标签或分数。在评分时，每个返回的标签使用发布评估脚本中实现的映射关系映射到七标签基准集。例如，平静风格的输出映射到中性，焦虑风格的输出映射到恐惧。发布的predictions.csv文件保留原始供应商输出和归一化的mapped_label。完整映射关系在附录中报告。

### 指标

排行榜报告总体准确率，即映射预测与参考标签匹配的片段比例。类别级别的行为通过精确率和召回率进行总结。对于类别c，令TP_c、FP_c和FN_c分别表示真阳性、假阳性和假阴性：

精确率_c = TP_c / (TP_c + FP_c)，召回率_c = TP_c / (TP_c + FN_c)
由于每个目标类别有40个片段，因此也报告每个类别的精确率和召回率，以揭示特定类别的失败模式和预测偏差。

对于聚合准确率，我们还报告95%的二项置信区间。每个片段被视为一次伯努利试验，正确或错误。该区间估计了在给定观察到的正确片段数和总评片段数的情况下，真实准确率的可能范围，使用带有限样本校正的二项比例区间。这些区间是描述性的。我们不对区间大量重叠的模型之间声称具有统计显著性的排序。

除了严格的七类准确率外，我们还报告次要的效价桶分析。效价视角询问即使模型错过了确切的情绪标签，它是否能捕捉到粗略的情感方向。此分析将愤怒、厌恶、恐惧和悲伤映射为负面，快乐映射为正面，中性映射为中性，同时排除惊讶。

## 基线模型

发布的基准测试包括六个基线模型，涵盖通用音频模型、语音专用模型和供应商情感/韵律端点。表2（https://arxiv.org/html/2608.28932#Sx3.T2）报告了聚合排行榜。

表2：七类VocalAffectBench基线结果。所有基线模型对所有280个片段进行了评分。最强的已发布基线是gemini_3_5_flash，在280个片段中正确预测了124个，准确率为44.3%（95% CI: 38.6–50.1）。最低的已发布基线是openai_realtime，正确预测78个，准确率为27.9%（95% CI: 22.9–33.4）。在所有六个基线模型中，共有590次正确决策，平均准确率为35.1%。

## 结果

### 类别难度

不同情绪类别的性能差异显著。表3（https://arxiv.org/html/2608.28932#Sx4.T3）报告了六个已发布基线模型在各标签上的聚合精确率和召回率。

表3：六个基线模型在各类别上的聚合精确率和召回率。精确率和召回率共同有助于揭示标签偏差。中性具有最高的召回率76.2%，但精确率最低，仅为24.0%，因为基线模型在1,679次决策中预测了中性761次。这种模式表明过度预测中性，而非均匀可靠的中性识别，而恐惧类别则呈现相反模式，精确率为78.3%，但召回率仅为15.0%。模型很少预测恐惧，但当预测时，预测往往是正确的。这些模式表明，模型选择和安全措施应取决于特定应用中最重要的情绪类别。

### 中性偏差

主要的错误模式是过度预测中性。在所有评分决策中，模型预测中性761次，占所有输出的45.3%。在错误预测中，1,089次错误中有578次被映射到中性。

表4（https://arxiv.org/html/2608.28932#Sx4.T4）显示了最常见的聚合混淆。所有六个真实的非中性类别经常被归并到中性。最大的混淆是从恐惧到中性，其次是悲伤到中性和厌恶到中性。这对应用很重要，因为保守的中性预测可能使语音产品错过那些应触发升级、共情或额外谨慎的非常情感状态。

表4：所有基线模型中最常见的聚合混淆。
### 效价作为更粗粒度的目标

某些产品不需要七类情绪标签。它们可能只需要更粗粒度的效价信号。作为次要描述性分析，我们将愤怒、厌恶、恐惧和悲伤映射为负面，快乐映射为正面，中性映射为中性。我们排除惊讶，因为其效价模糊。

在此粗略映射下，聚合准确率上升到49.2%。在此效价视角下的最佳模型是gemini_3_5_flash，准确率为66.2%，其次是tr_voxtral_small的55.0%和tr_qwen3_5_omni_plus的52.5%。这表明对于当前模型，效价比离散情绪更易处理，但仍未完全解决。

仅凭准确率无法显示模型是否倾向于发出正面、中性或负面标签。因此，我们还在表5（https://arxiv.org/html/2608.28932#Sx4.T5）中描述了每个模型的输出效价偏差。这不应被解读为模型的内在属性。它是基于此基准测试和映射下模型输出标签的描述性总结。

表5：基于映射预测的输出效价偏差。百分比是所有280个模型输出中的占比。根据此定义，三个基线模型偏向负面，三个偏向中性。没有一个评估的基线模型偏向正面。这很重要，因为两个具有相似聚合准确率的模型如果其中一个过度预测负面情感而另一个过度预测中性表达，可能会产生不同的产品风险。

## 讨论

基线结果显示出部分但脆弱的情感识别能力。领先模型大约是随机基线的三倍，但仍然错过了一半以上的片段。模型间的平均性能仅为35.1%。这些结果使得该基准测试可作为压力测试：它揭示了检测部分语音情感与在生产中依赖七类情绪标签之间的差距。

类别级别的模式与聚合排名同样重要。模型在中性上表现最佳，而惊讶、恐惧和厌恶对大多数基线模型仍然困难。这产生了实际风险。一个模型在处理以中性为主的任务负载时平均表现可能看似有用，但在对升级或干预最重要的高显著性状态上却可能失败。

中性偏差的结果也告诫我们不要将语音情绪输出视为关于用户的事实。中性预测可能意味着模型未检测到显著情感，但它也可能反映模型不确定性或校准错误。因此，当情感信号会改变实质性结果时，部署的产品应保持保守。

对于语音代理，情感识别应被视为经过特定产品验证后的概率性辅助信号，而非行动的唯一控制器。当前的基线模型应被视为测量目标，而非可部署的决策机制。

## 预期用途

VocalAffectBench旨在用于音频情感识别模型的诊断评估。适当用途包括供应商比较、错误分析、回归跟踪和特定类别产品验证。

该基准测试不打算用作训练语料库、隐藏排行榜、情感智能的通用衡量标准或生物特征数据集。由于标签和基线预测是公开的，报告应包含足够的评估细节以重现结果。

## 局限性

VocalAffectBench有意聚焦于特定范围。首先，它仅限于英语，所有发布的片段均使用通用美式口音。情感表达、韵律、语音节奏和标签解释因语言和文化而异。多语言和跨口音评估需要额外的收集和标签验证，而非直接翻译。

其次，基准测试使用七标签离散分类法。人类情感比单一类别更丰富。主标签有助于可重复的基准测试，但无法捕捉听者可能感知到的每种状态。包含的效价分析通过展示更粗粒度的替代方案部分解决了这个问题，但它无法替代更丰富的情感建模。

第三，片段的选择使每个目标类别具有相同数量的样本。这对于公平比较和类别级分析很有用，但并非对生产对话中情感普遍性的自然估计。在实际工作负载中使用的模型也应根据其自身的流量分布进行评估。

第四，数据集包含表演或扮演的情感语音。这符合基准测试对表达语音情感的目标，但它限制了结果能对自发的真实世界对话做出的声明。结果不应被解释为模型能够推断说话者真实感受的证据。

第五，该数据