标签
该论文提出了一种感知不一致性的评估框架,用于衡量音频大语言模型中文本与声学情感线索之间的分歧。研究在三个语音语料库上发现,跨模态不一致性始终会增加情感识别错误,而监督式分类器则呈现相反的趋势。
本文提出了针对SpeechLLMs的情感识别判别式适配方法,通过在线性分类头上使用最终提示词token的隐状态,提升性能和可解释性,消除幻觉并增强情感方向分析。
本文研究了使用Whisper进行波斯语语音情感识别,表明基于PCA的降维方法提升了性能和效率,而ASR微调仅带来有限的改进。
本文介绍了AMRD,一种自适应多教师关系蒸馏方法,用于将大型自监督语音情感识别模型压缩为面向边缘设备的轻量级学生模型。它解决了教师可靠性变化和关系结构丢失的问题,在IEMOCAP和CREMA-D数据集上展示了改进。