基于人-大语言模型对齐的歌词标注混合框架

# 一种基于人机对齐的歌曲歌词注释混合框架 来源：https://arxiv.org/html/2606.29273
Rashini Liyanarachchi, Frank Tran, Md Mahmudul Hasan, Aditya Joshi, Erik Meijering
新南威尔士大学计算机科学与工程学院，澳大利亚悉尼

###### 摘要

歌词情感识别是一项具有挑战性的任务，因为歌词不一定与歌曲的整体情感一致。因此，歌词注释在很大程度上仍未得到充分探索。受大语言模型（LLM）辅助注释研究的启发，我们通过创建一个新的句子级歌词数据集，研究了人类与LLM在歌词注释上的一致性。我们的观察凸显了该任务的主观性及其固有挑战。随后，我们提出了一种混合注释框架¹¹¹https://github.com/Rashy98/LyricAnnotator-emotion，该框架通过预测注释中可能的不一致来优化人类和LLM的注释。

## 引言

情感是音乐体验的核心[21](https://arxiv.org/html/2606.29273#bib.bib3)。然而，许多音乐情感识别（MER）研究主要关注音频特征（如节奏、调式、音色），而歌词等文本模态常被视为次要，或直接沿用通过聆听整首歌曲得出的情感标签[15](https://arxiv.org/html/2606.29273#bib.bib2)。以往的研究忽略了歌词本身承载着独特且常随时间演变的情感含义，这些含义未必与音乐本身一致。因此，大多数当代MER方法将情感标签赋予整首歌曲，合并来自音频和歌词的感知情感，而未区分它们各自的贡献。这种过度简化忽略了歌词如何独立影响情感感知，甚至逐行改变情感基调，从而使歌词情感注释成为一项时间动态且语义复杂的任务。

然而，近期越来越多的研究挑战了“歌词在情感感知中处于次要地位”这一观点。例如，[5](https://arxiv.org/html/2606.29273#bib.bib18)发现歌词显著影响听众的情感反应，表明歌词不应被视为与基于音频的情感线索可互换。同样，[13](https://arxiv.org/html/2606.29273#bib.bib19)强调了驱动音乐情感反应的多方面心理机制，其中歌词通过叙事和语义内容做出贡献。然而，由于主观性、文化差异和语言细微差别，注释歌词情感本身就很困难，并且由于该过程通常劳动密集且耗时，问题更加复杂。[25](https://arxiv.org/html/2606.29273#bib.bib20)也展示了主观和社会文化偏见（如注释者间分歧、个人解读和文化背景）如何影响文本领域的情感相关任务，从而影响注释的一致性和可比性。这些挑战——涵盖认知主观性、文化影响、语言歧义性和注释可扩展性——凸显了对替代或补充性情感注释方法的需求。

因此，我们研究以下研究问题：
*大语言模型（LLM）在歌词情感注释上与人类的一致性如何？基于此，LLM和人类如何在注释过程中相互补充？*
我们聚焦于人类与LLM在句子级别的注释一致性，而非歌曲或诗句级别，以便更好地捕捉歌词中情感的时序和语义演变。句子级注释提供了更精确的分析单元，与语言中情感表达的动态、上下文敏感特性相一致——这种特性在将单一情感标签分配给整首歌曲时常常被掩盖。

我们解决该研究问题的方法受到注释过程中关键障碍的启发：主观性、文化和解读差异性、语义歧义性，以及大规模手动注释的高成本。基于此，我们引入了一个混合注释框架，将人类判断与LLM输出相结合，旨在利用两者的互补优势。具体而言，我们探索了加权聚合注释和预测性建模等方法，以动态确定每个实例的最佳注释来源。总体目标是开发一个稳健可靠的歌词情感注释框架，其中稳健性指在不同语言和文化背景下的连贯性，可靠性则通过注释者间一致性和语义连贯性来体现。该框架旨在促进更精确且可扩展的情感标注，从而支持更准确的多模态MER系统的开发。通过将LLM与人类注释者结合，我们旨在探索是否能够：(1) 提高注释者间的客观性和一致性，(2) 减少对文化偏见的敏感性，(3) 在细粒度层面上捕捉细微的情感线索，(4) 显著减少大规模注释所需的人力。

本文其余部分组织如下。第二节 (https://arxiv.org/html/2606.29273#S2) 概述相关工作。第三节 (https://arxiv.org/html/2606.29273#S3) 比较人类与LLM分析情感的能力，涵盖数据集整理、注释流程、分析和成本考虑。第四节 (https://arxiv.org/html/2606.29273#S4) 引入一个结合两者的混合注释框架，包括加权聚合和注释来源预测。第五节 (https://arxiv.org/html/2606.29273#S5) 讨论本研究的局限性和启示。最后，第六节 (https://arxiv.org/html/2606.29273#S6) 总结主要发现并对未来工作提出建议。

## 相关工作

我们首先概述过往在数据集收集与注释方面的工作，强调情感框架和粒度上的差异。然后总结最先进的建模方法，从传统基于文本的方法到更先进的多模态技术。

### II-A 歌词数据集收集与创建

基于歌词的情感识别系统的开发关键取决于合适数据集的可用性和构建。多项研究通过从不同来源收集、注释和整理歌词数据集来应对这一挑战，这些数据集在情感分类体系、粒度级别和语言上各有差异。[3](https://arxiv.org/html/2606.29273#bib.bib21)专注于通过网络爬虫（例如从百度音乐）收集歌词，并利用听众标签衍生的情感类别进行注释。他们基于Thayer二维模型[27](https://arxiv.org/html/2606.29273#bib.bib34)，将3552首歌曲的数据集筛选为三大类别——满足、抑郁和兴奋。为提高标签质量，排除了模糊和重叠的标签。相比之下，[6](https://arxiv.org/html/2606.29273#bib.bib22)从Billboard榜单和Genius.com收集歌词，应用NRC情感词典[18](https://arxiv.org/html/2606.29273#bib.bib41)将歌词中的词语映射到八个情感类别。这种基于词典的方法无需手动注释即可实现可扩展的情感量化。

基于符号化注释的思想，[26](https://arxiv.org/html/2606.29273#bib.bib23)引入了Emotion4MIDI，这是一个大规模符号化音乐数据集，其注释改编自EMOPIA数据集[11](https://arxiv.org/html/2606.29273#bib.bib35)。虽然并非专门针对歌词，但它展示了如何整合情感标签（如愤怒、快乐、悲伤、温柔），并使用GoEmotions[8](https://arxiv.org/html/2606.29273#bib.bib36)类别来标准化情感表征。

为促进句子级建模，[29](https://arxiv.org/html/2606.29273#bib.bib30)整理了Lyric-FM数据集，其中每一行歌词都标注了连续的效价和唤醒度分数。这使得能够在时间轴上细粒度地学习情感细微差别。该数据集支持基于Transformer的模型在句子级输入上进行监督训练，超越了文档级表征。

多语言和地域因素也影响了近期数据集的工作。[1](https://arxiv.org/html/2606.29273#bib.bib24)引入了一个包含英语、西班牙语和印地语歌曲的多语言歌词数据集。他们利用翻译后的注释和XLNet模型来适应语言多样性，展示了跨语言领域的更强鲁棒性。类似地，[24](https://arxiv.org/html/2606.29273#bib.bib25)开发了一个泰卢固语歌曲歌词数据集，在效价-唤醒度（VA）空间中进行了注释。他们利用母语者的判断，并应用XLM-RoBERTa (https://huggingface.co/docs/transformers/en/model_doc/xlm-roberta) 模型进行领域适应，为音乐情感任务中的低资源语言表示做出了贡献。

总之，歌词情感数据集在多个维度上存在差异：注释类型（分类 vs. 连续）、粒度（歌曲级 vs. 句子级）、情感分类体系（离散类别、VA空间或基于词典的标签），以及语言多样性（单语 vs. 多语）。这些数据集为构建更具表现力、更具上下文意识的歌词情感模型奠定了基础，并反映出对数据集质量、代表性和注释方法的日益重视。

表I：基于歌词的音乐情感识别研究比较概述。

### II-B 音乐情感分类

使用歌词对音乐情绪和情感进行分类，已经从句法统计技术发展到更具语言意识的方法，试图捕捉语言与情感状态之间的细微关系（表I (https://arxiv.org/html/2606.29273#S2.T1)）。[14](https://arxiv.org/html/2606.29273#bib.bib28)提供了三种不同基于文本的音乐情绪分类技术的全面比较，展示了基于歌词的情感建模的演进。第一种方法，基于相似度的分类（SBC），使用词袋模型和tf.idf权重表示歌词，并利用Lucene的文档检索系统[23](https://arxiv.org/html/2606.29273#bib.bib37)计算歌曲间的相似度。然后使用k-近邻（kNN）分类器根据最接近的匹配分配情绪标签。虽然该方法达到了60%的准确率，但受到歌词数据高维性及其与多模态融合（例如与音频特征）有限兼容性的限制。

为解决维数问题，作者探索了潜在语义分析（LSA），该方法将歌词投影到降维的语义空间中，同时保留上下文相似性。支持向量机（SVM）、逻辑回归和随机森林等分类器被应用于这种低维表示。然而，改进是微小的，SVM的准确率约为61.3%。LSA方法仍然依赖于tf.idf空间中的距离度量，这可能与情绪类别的结构不太吻合。

识别情绪区分性词项的方法通过对比不同情感类别歌曲的语言模型，显著提高了基于歌词的音乐情感分类性能。例如，[10](https://arxiv.org/html/2606.29273#bib.bib44)证明，选择最具区分性的词项并构建向量表示，其分类准确率可与基于音频的方法相媲美，凸显了词项级分析优于整体相似度测量的价值。此外，[14](https://arxiv.org/html/2606.29273#bib.bib28)表明，将基于语言模型差异（LMD）的歌词特征与音频线索相结合，进一步提高了分类准确率，尤其是对于快乐和悲伤等情感。这表明，即使采用简单的特征融合，多模态整合也能超越单模态系统，并且有目标的词汇分析比通用向量空间模型提供了显著优势。

这些发现表明，并非所有词表示对情绪分类都同样有效。关注情感显著语言模式（如LMD）的方法带来了明显改进，并为利用文本和音频的混合模型奠定了基础。

## 人类与LLM情感注释能力比较

为进一步推动下一节将介绍的混合注释方法的发展，我们首先展示人类与基于LLM的歌词情感注释的比较分析。我们介绍数据集构建过程，然后概述注释协议，涵盖人类和基于LLM的注释流程。最后，我们介绍用于评估注释可靠性和互补性的混合策略及评估指标。

### III-A 数据集整理

我们构建了一个包含50首歌曲的数据集，这些歌曲选自两个公开的情感识别数据集：DEAM[2](https://arxiv.org/html/2606.29273#bib.bib16)和PMEmo[31](https://arxiv.org/html/2606.29273#bib.bib17)。之所以选择这两个数据集，是因为它们的互补特性以及与多模态情感识别的相关性：PMEmo包含同步歌词和基于听众的情感注释，而DEAM提供带有动态VA注释的音频文件，这些注释来自多位人类评分者。尽管两个数据集最初都并非为歌词级情感分析而设计，但它们代表了MER研究中两个最广泛使用的基准。

由于PMEmo数据集在其元数据中包含歌词，而DEAM数据集仅提供音频文件及相应元数据（如歌曲标题和艺术家姓名）。因此，使用Python包lyricsgenius，通过可用的标题-艺术家对，利用Genius API进行自动查询，检索了DEAM子集的歌词。自动提取后，所有歌词无论来源如何，均经过手动验证以确保正确性、完整性和一致性。这一步对于消除第三方来源或原始PMEmo元数据中引入的错位或错误歌词噪声至关重要。

验证后，歌词被手动分割为语义上有意义的句子级单元。选择这种句子级粒度是为了更好地反映歌曲中每个时刻所传达的情感，因为歌词中的情感常常在行或节之间动态变化。所得数据集涵盖多种流派（图1 (https://arxiv.org/html/2606.29273#S3.F1)），确保音乐风格的多样性和代表性。这些包括流行、摇滚、古典、爵士、电子等。流派的多样性对于捕捉歌词结构和情感表达的变化至关重要，这可能会影响情感感知的主观性。

请参见图注
图1：数据集的流派分布。

该数据集包含652个句子级歌词片段，每个片段都标注了效价和唤醒度。选择VA框架是因为它能够沿连续轴表示广泛的情感状态，而非局限于离散类别。它也符合DEAM和PMEmo中使用的注释方案，从而能够在不同模态之间进行有意义的比较。

### III-B 注释流程