量化情感差距：大语言模型在细粒度情感分类上的零样本评估

# 大语言模型在细粒度情感分类上的零样本评估
来源：https://arxiv.org/html/2607.00968
## 量化情感鸿沟：大语言模型在细粒度情感分类上的零样本评估

Lawrence Obiuwevwi, Krzysztof J. Rechowicz, Jessica M. Johnson, Vikas Ashok, Sachin Shetty, & Sampath Jayarathna

###### 摘要

自然语言中的情感识别是情感计算中的基础挑战，对人机交互、心理健康支持和对话式AI具有关键意义。本文对三款领先的商业大语言模型进行了严格、统一的零样本评估：Claude (claude-sonnet-4-6)、ChatGPT (GPT-5.4) 和 Gemini (gemini-2.5-flash)。这些模型通过截至2026年4月的各自生产API查询，执行了一项细粒度13类情感分类任务。使用来自 boltuix/emotions-dataset（包含131,306个句子，涵盖13个类别）的分层1,000句样本，对所有模型应用了同一统一提示（无示例）。Gemini取得了最高准确率（39.9%）和宏F1值（0.363），其次是 GPT-5.4（38.8%，F1=0.291）和 Claude（38.0%，F1=0.159）。所有模型在 **sarcasm**（讽刺）和 **desire**（渴望）上表现优异，但在 **love**（爱）、**confusion**（困惑）和 **shame**（羞耻）上持续失败。McNemar检验显示无统计学显著的两两差异（p>0.10），表明模型趋近于共同的零样本上限。Claude明显较低的宏F1暴露了其类别不平衡预测偏差。这些发现揭示了前沿AI系统在零样本细粒度情感分类中的当前局限性。

## I. 引言

情感塑造了人类沟通，并支撑着心理健康监控[3 (https://arxiv.org/html/2607.00968#bib.bib24)]、共情对话系统[21 (https://arxiv.org/html/2607.00968#bib.bib25)]和人机交互等高重要性应用。因此，AI系统识别情感状态的能力是在任何涉及人类福祉的领域中部署的先决条件。

尽管大语言模型（LLMs）取得了快速进步，但其情感智能在细粒度分辨率上的刻画仍然不足。大多数研究探究的是粗略的极性或Ekman六种基本情感[8 (https://arxiv.org/html/2607.00968#bib.bib1)]，而非更丰富的分类体系[22 (https://arxiv.org/html/2607.00968#bib.bib17), 10 (https://arxiv.org/html/2607.00968#bib.bib16)]，并且在相同实验条件下进行直接跨提供者比较的文献尚属空白。这一缺口至关重要：为情感感知应用选择API的从业者必须依赖可能无法反映真实世界语言多样性的临时或专有基准。

本文通过四个研究问题解决这一缺口：13类零样本准确率（RQ1）；使用McNemar检验的两两统计差异（RQ2）；每类情感的优势与失败模式（RQ3）；以及句子长度对准确率的影响（RQ4）。我们的贡献包括：(i) 首次对Claude (claude-sonnet-4-6)、ChatGPT (GPT-5.4) 和 Gemini (gemini-2.5-flash) 在13类任务上使用截至2026年4月的生产API进行直接零样本比较；(ii) 揭示系统性失败模式的逐情感准确率分解；(iii) McNemar显著性检验；以及 (iv) 句子长度的调节效应分析。

## II. 相关工作

### II-A. 情感分类与数据集

计算情感识别已从基于词典的资源（如NRC词典[17 (https://arxiv.org/html/2607.00968#bib.bib11)]和SemEval情感任务[23 (https://arxiv.org/html/2607.00968#bib.bib8), 16 (https://arxiv.org/html/2607.00968#bib.bib9), 4 (https://arxiv.org/html/2607.00968#bib.bib10)]），经过深度学习分类器，发展到Transformer微调范式，在包括GoEmotions[6 (https://arxiv.org/html/2607.00968#bib.bib6)]（58K评论，27个类别）在内的基准上取得了最新成果。BERT[7 (https://arxiv.org/html/2607.00968#bib.bib12), 20 (https://arxiv.org/html/2607.00968#bib.bib2)]和RoBERTa[12 (https://arxiv.org/html/2607.00968#bib.bib13)]确立了Transformer范式在监督情感分类中的主导地位。boltuix/emotions-dataset 扩展了Ekman分类体系，加入了社会性（羞耻、内疚）[24 (https://arxiv.org/html/2607.00968#bib.bib5)]、认知性（困惑）、修辞性（讽刺）[9 (https://arxiv.org/html/2607.00968#bib.bib21)]和动机性（渴望）类别，提供了更广泛的生态效度。

情感感知AI也可以补充多模态辅助系统，这些系统在知识工作环境中整合了认知、生理和注意力上下文[18 (https://arxiv.org/html/2607.00968#bib.bib26)]。相关的人机交互研究已经考察了眼动追踪信号如何表征数字文档阅读过程中认知努力的变化[14 (https://arxiv.org/html/2607.00968#bib.bib4), 13 (https://arxiv.org/html/2607.00968#bib.bib3), 25 (https://arxiv.org/html/2607.00968#bib.bib27)]。

### II-B. 用于情感和情绪的LLMs

GPT-3[2 (https://arxiv.org/html/2607.00968#bib.bib14)]通过上下文学习展示了零样本分类能力，而指令微调[19 (https://arxiv.org/html/2607.00968#bib.bib19), 26 (https://arxiv.org/html/2607.00968#bib.bib20)]显著提高了泛化能力。SentimentGPT[10 (https://arxiv.org/html/2607.00968#bib.bib16)]发现LLMs在粗略极性上具有竞争力，但在低频情感类别上较弱。Yang等人[22 (https://arxiv.org/html/2607.00968#bib.bib17)]评估了ChatGPT和GPT-4在情感任务上的表现，但排除了Claude、Gemini以及细粒度的13类分类体系——这正是本研究直接填补的空白。

## III. 方法论

### III-A. 数据集

boltuix/emotions-dataset[1 (https://arxiv.org/html/2607.00968#bib.bib7)]是一个公开可用的Hugging Face语料库，包含131,306个英文句子，每个句子标注了13个互斥情感标签之一：**happiness**（快乐）、**sadness**（悲伤）、**fear**（恐惧）、**anger**（愤怒）、**love**（爱）、**disgust**（厌恶）、**surprise**（惊讶）、**neutral**（中性）、**confusion**（困惑）、**desire**（渴望）、**shame**（羞耻）、**guilt**（内疚）和**sarcasm**（讽刺）。以种子值42抽取了N=1,000句的分层随机样本，保留了类别比例，以模拟真实部署条件。表I (https://arxiv.org/html/2607.00968#S3.T1)报告了分布情况。**Happiness**是最常见的类别（20.5%，n=205）；**desire**是最罕见的类别（1.9%，n=19）。这种10:1的比例对宏F1有直接影响：将预测集中在高频类别上的模型会获得看似很高的准确率，但同时在少数类上失败。

表I: 分层样本中的类别分布 (N=1,000)
### III-B. 模型与API配置

通过截至2026年4月2日的生产API查询了三个前沿LLM：Claude (claude-sonnet-4-6) 通过Anthropic的Messages API，使用默认采样；ChatGPT (GPT-5.4) 通过OpenAI的Chat Completions API，temperature=0；Gemini (gemini-2.5-flash) 通过Google的Generative AI API，使用默认采样。所有模型接收max_tokens=10，强制单词响应。经过大小写归一化后，与13个规范标签之一不匹配的响应被视为错误；实际上，所有三个模型都表现出很强的标签遵循性。

### III-C. 提示设计

对所有模型使用相同的单轮提示，无系统消息，无少样本示例[2 (https://arxiv.org/html/2607.00968#bib.bib14), 27 (https://arxiv.org/html/2607.00968#bib.bib18)]：

“Classify the emotion expressed in this sentence. Reply with ONLY one word from this list: happiness, sadness, fear, anger, love, disgust, surprise, neutral, confusion, desire, shame, guilt, sarcasm. Sentence: {sentence}. Emotion:”

完整的标签列表约束了输出空间；命令式指令风格能从指令微调模型中获得一致输出[19 (https://arxiv.org/html/2607.00968#bib.bib19)]。不包含思维链前言，确保性能反映原始情感推理[27 (https://arxiv.org/html/2607.00968#bib.bib18)]。

### III-D. 评估指标

每个模型计算四个指标：(i) 总体准确率；(ii) 宏F1（F1_mac），少数类评估的主要指标；(iii) 加权F1（F1_wt）；以及 (iv) Cohen's Kappa（κ）[5 (https://arxiv.org/html/2607.00968#bib.bib23)]。两两比较使用McNemar检验[15 (https://arxiv.org/html/2607.00968#bib.bib22)]，并应用连续性校正。

## IV. 结果

### IV-A. 总体表现

表II (https://arxiv.org/html/2607.00968#S4.T2)总结了聚合性能。Gemini在所有四个指标上领先（准确率39.9%，宏F1 0.363，κ=0.337），其次是GPT-5.4（38.8%，0.291，0.327）和Claude（38.0%，0.159，0.320）。所有三个模型都显著超过多数类基线（20.5%）和随机基线（7.7%），但远低于人类水平性能（>70%）[6 (https://arxiv.org/html/2607.00968#bib.bib6)]。1.9个百分点的狭窄差距表明模型趋近于共同的零样本上限，这由下面的McNemar结果所证实。

表II: 总体性能 (N=1,000)
### IV-B. 逐情感准确率

表III (https://arxiv.org/html/2607.00968#S4.T3)和图2 (https://arxiv.org/html/2607.00968#S4.F2)展示了逐类准确率。**Sarcasm**（96.2%–100%）和**desire**（89.5%–94.7%）与其他所有类别形成鲜明对比。**Anger**（53.3%–61.7%）、**fear**（44.1%–48.5%）和**sadness**（43.1%–55.4%）构成一个中等表现簇。**Love**（14.5%–27.6%）、**confusion**（22.9%–27.1%）和**shame**（17.6%–29.4%）始终是最困难的类别。值得注意的模型特定差异包括：Gemini在**neutral**上表现糟糕（14.8% vs. Claude的31.1%），Claude在**guilt**（50.0%）和**neutral**上领先，而GPT-5.4在**sadness**和**love**上领先。

表III: 按模型划分的逐情感准确率 (%)
参考图注：图1: Claude、GPT-5.4和Gemini的归一化混淆矩阵。非对角线质量集中在语义相近的对上：**love** ↔ **happiness**、**fear** ↔ **sadness**，以及**confusion** ↔ **neutral**。
参考图注：图2: 逐情感准确率热力图 (%)。**Sarcasm**得分最高（96.2–100%）；**love**和**neutral**始终最弱。
图1 (https://arxiv.org/html/2607.00968#S4.F1)展示了归一化混淆矩阵。跨模型模式包括：**love**被误分类为**happiness**，证实了积极情感类别之间的语义重叠；**confusion**被误分类为**neutral**和**sadness**；**fear**经常被归为**sadness**，表明共享的消极效价主导了唤醒水平差异。

### IV-C. 统计显著性

表IV (https://arxiv.org/html/2607.00968#S4.T4)展示了McNemar检验的p值。在α=0.05水平上没有比较达到显著性，支持趋同的结论：准确率差异与随机变化一致，在该协议下没有模型可以被明确宣布为更优。

表IV: McNemar检验p值 (α=0.05)
### IV-D. 句子长度分析

性能在中等长度（5–15个单词）区间达到峰值：Claude = 41.3%，GPT-5.4 = 42.0%，Gemini = 43.6% (n=567)。长句子（>15个单词）产生最低的准确率（33.2%–34.3%），所有模型一致下降了约9个百分点（图3 (https://arxiv.org/html/2607.00968#S4.F3)），这表明了零样本情感推理的结构性特性。

参考图注：图3: 按句子长度划分的准确率。中等长度句子（5–15个单词）达到峰值性能；长句子（>15个单词）使所有模型的准确率下降约9个百分点。

## V. 讨论

**零样本上限**：1.9个百分点的准确率差距和非显著的McNemar结果表明所有三个模型都已趋近于共同的零样本上限。对于从业者而言，提供者选择不太可能影响原始准确率。然而，宏F1差距（Claude vs. Gemini：0.159 vs. 0.363）在实际应用中具有重要意义：在需要少数类敏感性（例如，羞耻、内疚）的应用中，Gemini是优选。

**讽刺/渴望悖论与困难类别**：接近完美的**sarcasm**（96.2%–100%）和**desire**（89.5%–94.7%）准确率可能反映了较小的支撑样本量（n=26，n=19）和异常词汇原型性[11 (https://arxiv.org/html/2607.00968#bib.bib15)]，而非稳健的情感理解。相反，**love**是Claude和Gemini表现最差的类别（14.5%），这源于与**happiness**的语义重叠。混淆矩阵证实，大多数**love**误分类落入了**happiness**，这与GoEmotions[6 (https://arxiv.org/html/2607.00968#bib.bib6)]的结果一致，其中积极社会情感构成了最难区分的簇。

**提供者特定偏差**：Claude的宏F1为0.159——不到Gemini的0.363的一半——尽管准确率相当（38.0%），这是多数类预测偏差的标志[26 (https://arxiv.org/html/2607.00968#bib.bib20)]。Claude过度预测**happiness**，同时在少数类上表现不佳，这可能是由于预训练期间的对齐过程所放大[19 (https://arxiv.org/html/2607.00968#bib.bib19)]。对于罕见情感具有高临床意义的心理健康应用来说，这是一个关键限制。相比之下，Gemini在**neutral**上表现糟糕（14.8% vs. Claude的31.1%），系统性地将中性句子重新分配给情感类别。这种模式可能反映了RLHF目标对情感投入型输出的偏好[19 (https://arxiv.org/html/2607.00968#bib.bib19)]，使得Gemini在需要中性状态检测的应用中不可靠。

**意义与局限性**：38%–40%的准确率远远低于情感敏感情境的部署阈值[3 (https://arxiv.org/html/2607.00968#bib.bib24), 21 (https://arxiv.org/html/2607.00968#bib.bib25)]。主要局限性包括：仅限零样本评估（少样本提示可能会显著改善所有模型）、依赖单一英语数据集，以及稀有类别（n<30）的高方差估计。结果反映的是截至2026年4月2日的API行为；持续的模型更新可能会改变发现。

## VI. 结论

我们首次使用生产API对Claude、GPT-5.4和Gemini在13类情感分类上进行了直接零样本评估。Gemini在所有指标上领先（准确率39.9%，宏F1 0.363），尽管没有达到统计显著的两两差异，表明模型趋近于共同的零样本上限。我们的结果揭示了前沿LLM在零样本细粒度设置中仍远低于人类水平的情感意识。未来的工作应探索用于改善少数类的少样本和思维链提示[27 (https://arxiv.org/html/2607.00968#bib.bib18)]、量化零样本差距的微调基线，以及评估跨语言情感泛化的多语言评估。

## 致谢

本研究部分由NSF 245523资助。本文表达的任何观点、发现、结论或建议均为作者本人观点，不一定反映赞助者的立场。

## 参考文献

- [1] (2023) Emotions-dataset. Note: HuggingFace Datasets External Links: Link (https://huggingface.co/datasets/boltuix/emotions-dataset) Cited by: §III-A (https://arxiv.org/html/2607.00968#S3.SS1.p1.3).
- [2] T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, et al. (2020) Language models are few-shot learners. Advances in Neural Information Processing S