AtmosERC: 模拟对话级情感氛围以增强对话中的情绪识别
摘要
本文介绍了AtmosERC，一个模拟对话级情感氛围以增强对话中情绪识别的模型。
arXiv:2607.26726v1 公告类型：新
摘要：对话中的情绪识别（ERC）旨在预测对话中每个话语的情绪，并通过上下文为中心的建模取得了很大进展。然而，全局上下文是一种异质信号，并非所有上下文信息都与情绪预测同等相关。本文关注该信号中的情感导向成分，称为对话级情感氛围，它捕捉了对话情绪模式中常见的潜在倾向。为了估计和利用这种倾向，我们提出了AtmosERC，一个基于图的ERC框架，它将每个对话建模为话语和说话者之上的对话图。关系感知的图提取器过滤并融合异质图信号，以产生对话级和说话者条件化的情感先验。由此产生的紧凑先验指导轻量级序列情绪预测，并且还可以被转化为提示级线索，用于基于LLM的ERC而无需修改骨干模型。在四个ERC基准测试上的实验表明，AtmosERC改善了轻量级ERC，增强了作为插件线索的基于LLM的ERC，并在局部情绪偏差下产生更稳定的预测。
查看缓存全文
缓存时间: 2026/07/30 09:59
# 建模对话级情感氛围以进行对话中的情感识别 来源：https://arxiv.org/html/2607.26726 ## 参考文献 - W. Ai, F. Zhang, Y. Shou, T. Meng, H. Chen, and K. Li (2025) 从图谱角度重新审视对话中的多模态情感识别. 在《AAAI人工智能会议论文集》第39卷, 第11418–11426页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px3.p1.1). - Y. Bao, Q. Ma, L. Wei, W. Zhou, and S. Hu (2022) 说话人引导的编解码框架用于对话中的情感识别. 在《国际人工智能联合会议论文集》第4051–4057页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px1.p1.1). - C. Busso, M. Bulut, C. Lee, A. Kazemzadeh, E. Mower, S. Kim, J. N. Chang, S. Lee, and S. S. Narayanan (2008) IEMOCAP: 交互式情感化双人动作捕捉数据库. 《语言资源与评估》42(4), 第335–359页. 引用来源: 第C.1节 (https://arxiv.org/html/2607.26726#A3.SS1.p2.1). - F. Chen, J. Shao, S. Zhu, and H. T. Shen (2023) 多变量、多频率和多模态：重新思考用于对话情感识别的图神经网络. 在《IEEE/CVF计算机视觉与模式识别会议论文集》第10761–10770页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). - Y. Fu, S. Okada, L. Wang, L. Guo, Y. Song, J. Liu, and J. Dang (2021) CONSK-GCN: 对话语义与知识导向的图卷积网络用于多模态情感识别. 在《IEEE国际多媒体与博览会》第1–6页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). - Y. Fu, J. Wu, Z. Wang, M. Zhang, L. Shan, Y. Wu, and B. Li (2025) LaERC-S: 利用说话人特征改进基于大语言模型的对话情感识别. 在《第31届国际计算语言学会议论文集》第6748–6761页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px3.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px6.p1.1). - D. Ghosal, N. Majumder, A. Gelbukh, R. Mihalcea, and S. Poria (2020) COSMIC: 用于对话情感识别的常识知识. 在《计算语言学协会发现：EMNLP 2020》第2470–2481页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). - D. Ghosal, N. Majumder, S. Poria, N. Chhaya, and A. Gelbukh (2019) DialogueGCN: 用于对话情感识别的图卷积神经网络. 在《2019年自然语言处理经验方法会议暨第9届国际自然语言处理联合会议论文集》第154–164页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px3.p1.1). - D. Hazarika, S. Poria, A. Zadeh, E. Cambria, L. Morency, and R. Zimmermann (2018) 对话记忆网络用于双人对话视频中的情感识别. 在《2018年北美计算语言学协会会议论文集》第2122–2132页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). - D. Hu, Y. Bao, L. Wei, W. Zhou, and S. Hu (2023) 监督对抗对比学习用于对话情感识别. 在《第61届计算语言学协会年会论文集》第10835–10852页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px1.p1.1). - J. Hu, Y. Liu, J. Zhao, and Q. Jin (2021) MMGCN: 基于深度图卷积网络的多模态融合用于对话情感识别. 在《第59届计算语言学协会年会暨第11届国际自然语言处理联合会议论文集》第5666–5675页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1). - W. Jiao, M. Lyu, and I. King (2020) 利用无监督数据进行对话情感识别. 在《计算语言学协会发现：EMNLP 2020》, T. Cohn, Y. He, and Y. Liu (编), 第4839–4846页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - R. Jing, Geng Tu, Yice Zhang, and Ruifeng Xu (2026) Causal-ERC: 基于因果提示的多模态框架与大型语言模型用于对话情感识别. 在《AAAI人工智能会议论文集》第40卷, 第31383–31391页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px3.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px6.p1.1). - T. Kim and P. Vossen (2021) EmoBERTa: 基于RoBERTa的说话人感知对话情感识别. 外部链接: 2108.12009 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px5.p1.1). - S. Lei, G. Dong, X. Wang, K. Wang, R. Qiao, and S. Wang (2024) InstructERC: 通过多任务检索增强的大型语言模型改革对话情感识别. 外部链接: 2309.11911 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px3.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px6.p1.1). - J. Li, X. Wang, Y. Liu, and Z. Zeng (2024) ERNetCL: 基于课程学习策略的文本对话情感识别网络. 《基于知识的系统》286, 第111434页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px2.p1.1). - J. Li, X. Wang, G. Lv, and Z. Zeng (2023a) GraphMFT: 基于图网络的多模态融合技术用于对话情感识别. 《神经计算》550, 第126427页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1). - J. Li, X. Wang, and Z. Zeng (2025) 对话中复杂线索的追踪：联合图结构与情感动态用于多模态情感识别. 《IEEE模式分析与机器智能汇刊》47(10), 第8786–8803页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - J. Li, Z. Lin, P. Fu, and W. Wang (2021) 过去、现在与未来：通过心理知识结构建模进行对话情感识别. 在《计算语言学协会发现：EMNLP 2021》第1204–1214页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px4.p1.1). - J. Li, D. Ji, F. Li, M. Zhang, and Y. Liu (2020) HiTrans: 基于Transformer的上下文与说话人敏感模型用于对话情感检测. 在《第28届国际计算语言学会议论文集》第4190–4200页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - W. Li, L. Zhu, R. Mao, and E. Cambria (2023b) SKIER: 符号知识集成模型用于对话情感识别. 在《AAAI人工智能会议论文集》第37卷, 第13121–13129页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px4.p1.1). - Y. Li, H. Su, X. Shen, W. Li, Z. Cao, and S. Niu (2017) DailyDialog: 一个手工标注的多轮对话数据集. 在《第八届国际自然语言处理联合会议论文集》第986–995页. 引用来源: 第C.1节 (https://arxiv.org/html/2607.26726#A3.SS1.p5.1). - Z. Lian, F. Zhang, Y. Zhang, J. Tao, R. Liu, H. Chen, and X. Li (2025) AffectGPT-R1: 利用强化学习进行开放词汇多模态情感识别. 外部链接: 2508.01318 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px3.p1.1). - N. Majumder, S. Poria, D. Hazarika, R. Mihalcea, A. Gelbukh, and E. Cambria (2019) DialogueRNN: 用于对话情感检测的注意力循环神经网络. 在《AAAI人工智能会议论文集》第33卷, 第6818–6825页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px1.p1.1). - Y. Mao, G. Liu, X. Wang, W. Gao, and X. Li (2021) DialogueTRM: 探索对话中的多模态情感动态. 在《计算语言学协会发现：EMNLP 2021》第2694–2704页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - S. Poria, E. Cambria, D. Hazarika, N. Majumder, A. Zadeh, and L. Morency (2017) 用户生成视频中的上下文相关情感分析. 在《第55届计算语言学协会年会论文集》第873–883页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - S. Poria, D. Hazarika, N. Majumder, G. Naik, E. Cambria, and R. Mihalcea (2019a) MELD: 用于对话情感识别的多模态多方数据集. 在《第57届计算语言学协会年会论文集》第527–536页. 引用来源: 第C.1节 (https://arxiv.org/html/2607.26726#A3.SS1.p3.1). - S. Poria, N. Majumder, R. Mihalcea, and E. Hovy (2019b) 对话情感识别：研究挑战、数据集与最新进展. IEEE Access 7, 第100943–100953页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1). - W. Shen, J. Chen, X. Quan, and Z. Xie (2021a) DialogXL: 用于多方对话情感识别的全能XLNet. 在《AAAI人工智能会议论文集》第35卷, 第13789–13797页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px2.p1.1). - W. Shen, S. Wu, Y. Yang, and X. Quan (2021b) 有向无环图网络用于对话情感识别. 在《第59届计算语言学协会年会暨第11届国际自然语言处理联合会议论文集》第1551–1560页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px3.p1.1). - T. Shi and S. Huang (2023) MultiEMO: 基于注意力的关联感知多模态融合框架用于对话情感识别. 在《第61届计算语言学协会年会论文集》第14752–14766页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px2.p1.1). - R. Song, F. Giunchiglia, L. Shi, Q. Shen, and H. Xu (2023) SUNET: 说话人-话语交互图神经网络用于对话情感识别. 《工程应用人工智能》第106315页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1). - G. Tu, T. Xie, B. Liang, H. Wang, and R. Xu (2024) 自适应图学习用于多模态对话情感检测. 在《AAAI人工智能会议论文集》第38卷, 第19089–19097页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). - Y. Wang, B. Wang, Y. Zhao, D. Zhao, X. Jin, J. Zhang, R. He, and Y. Hou (2024) 通过动态人格进行对话情感识别. 在《2024年国际计算语言学与语言资源评估联合会议论文集》第5711–5722页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px5.p1.1). - C. Wu, Y. Cai, Y. Liu, P. Zhu, Y. Xue, Z. Gong, J. Hirschberg, and B. Ma (2025) 多模态对话情感识别：方法、趋势、挑战与前景综述. 在《计算语言学协会发现：EMNLP 2025》第6257–6274页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - F. Yu, J. Guo, Z. Wu, and X. Dai (2024) 情感锚定的对比学习框架用于对话情感识别. 在《计算语言学协会发现：NAACL 2024》第4521–4534页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px5.p1.1). - S. M. Zahiri and J. D. Choi (2018) 基于序列卷积神经网络的电视节目字幕情感检测. 在《AAAI人工智能会议论文集》第18卷, 第44–52页. 引用来源: 第C.1节 (https://arxiv.org/html/2607.26726#A3.SS1.p4.1). - D. Zhang, L. Wu, C. Sun, S. Li, Q. Zhu, and G. Zhou (2019) 对多说话人对话中上下文和说话人敏感依赖的建模用于情感检测. 在《第28届国际人工智能联合会议论文集》第5415–5421页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px2.p1.1). - J. Zhao, T. Zhang, J. Hu, Y. Liu, Q. Jin, X. Wang, and H. Li (2022a) M3ED: 多模态多场景多标签情感对话数据库. 在《第60届计算语言学协会年会论文集》第5699–5710页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1). - W. Zhao, Y. Zhao, and X. Lu (2022b) CauAIN: 因果感知交互网络用于对话情感识别. 在《第31届国际人工智能联合会议论文集》第4524–4530页. 引用来源: 第C.2节 (https://arxiv.org/html/2607.26726#A3.SS2.SSS0.Px4.p1.1). - P. Zhong, D. Wang, and C. Miao (2019) 知识增强的Transformer用于文本对话情感检测. 在《2019年自然语言处理经验方法会议暨第9届国际自然语言处理联合会议论文集》第165–176页. 引用来源: 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px1.p1.1), 附录A (https://arxiv.org/html/2607.26726#A1.SS0.SSS0.Px4.p1.1). ## 附录A 扩展相关工作 #### 对话中的上下文建模。 对话包含由对话历史、说话人交互和长距离依赖产生的复杂关系结构 (Wu等人, 2025 (https://arxiv.org/html/2607.26726#bib.bib65))。早期的ERC方法主要使用循环架构对上下文依赖进行建模 (Poria等人, 2017 (https://arxiv.org/html/2607.26726#bib.bib49); Majumder等人, 2019 (https://arxiv.org/html/2607.26726#bib.bib46); Jiao等人, 2020 (https://arxiv.org/html/2607.26726#bib.bib28); Zhao等人, 2022a (https://arxiv.org/html/2607.26726#bib.bib71))，而后续方法则采用了Transformer和预训练语言模型。
相似文章
揭示对话情感识别中的弱点
本文通过分析大型语言模型（LLMs）在零样本设置中的表现，研究对话情感识别（ERC）的弱点，揭示了由于标注模糊性导致的系统性失败，并提出了一个LLM-as-Judge框架以实现更鲁棒的评估。
情感计算中关系范式的转变：情感共振、活力情感与语音交互场
本文提出了一种情感计算的关系框架，将焦点从个体情绪状态转向语音动态中的交互场，并通过一项使用自监督语音表示来检测方向性表达耦合的实证研究加以支持。
AMRD：面向轻量级语音情感识别的自适应多教师关系蒸馏
本文介绍了AMRD，一种自适应多教师关系蒸馏方法，用于将大型自监督语音情感识别模型压缩为面向边缘设备的轻量级学生模型。它解决了教师可靠性变化和关系结构丢失的问题，在IEMOCAP和CREMA-D数据集上展示了改进。
RESCUE-BENCH：面向多方情感支持对话中的关系感知评估基准
本文提出了RESCUE-BENCH，一个用于评估大型语言模型在多方对话中关系感知能力的情感支持基准，揭示了当前模型在建模人际关系动态方面的局限性。
评估主动式对话智能体中的多模态情绪识别：一项用户研究
本文介绍了一个用于主动对话智能体的多模态情绪识别模块，该模块结合了面部识别与语言分析。一项涉及20名参与者的用户研究发现了一种“扑克脸”效应，即视觉线索不可靠，而语言分析则更为准确；研究还表明，智能体可以通过对话适应性来引发情绪。