生成还是判断?基于LLM的对话中情绪-原因对提取的范式视角

arXiv cs.CL 论文

摘要

本文比较了基于LLM的对话中情绪-原因对提取的生成与判断范式,发现对级判断优于对话级生成,并引入辅助检索器以改进性能。

arXiv:2607.26967v1 公告类型:新 摘要:对话中的情绪-原因对提取(ECPEC)旨在识别一个话语导致另一个话语中表达情绪的语对。近期基于LLM的方法以截然不同的粒度来定义ECPEC,从生成完整对集到判断单个候选对。本文中,我们观察到任务定义显著影响性能,在所有18项受控对比中,对级判断优于对话级生成。我们研究了这一范式差距的来源,发现对话级生成忽略的许多关系在显式对查询下仍可识别,模型在此查询下识别92.7%-98.1%的情绪-原因关系。这表明LLM能够识别情绪-原因关系,但在发现并返回完整对集方面存在困难。对级判断减轻了这一负担,尽管其候选排序比共享阈值产生的二元决策更可靠。基于这一诊断,我们引入一个辅助检索器,选择性地重新审视模糊边界案例,在三个数据集上实现了0.50-1.46个F1分数的一致提升,同时推理时间仅为基线范式的1.49倍。这些发现表明,任务分解和候选范围对于有效利用LLM进行ECPEC至关重要。
查看原文
查看缓存全文

缓存时间: 2026/07/30 10:00

# 生成还是判断?面向对话中基于LLM的情绪-原因对抽取的范式视角
来源:https://arxiv.org/html/2607.26967
###### 摘要

对话中的情绪-原因对抽取(ECPEC)旨在识别这样一个话语对:其中一个话语引发了另一个话语所表达的情绪。近期基于LLM的方法以显著不同的粒度来形式化ECPEC,从生成完整的对集合到判断单个候选对。在本文中,我们惊奇地发现,任务形式化对性能有实质性影响,在所有18项受控比较中,对级别判断的表现均优于对话级生成。我们探究了这种范式差距的来源,发现对话级生成遗漏的许多关系在显式的对查询下仍然可识别,此时模型能识别92.7%–98.1%的情绪-原因关系。这表明LLM能够识别情绪-原因关系,但在发现并返回完整对集合方面存在困难。对级别判断减轻了这一负担,尽管其候选排序比由共享阈值产生的二元决策更为可靠。基于这一诊断,我们引入了一个辅助检索器,用于选择性重新检查边界附近的模糊案例,在三个数据集上一致提升了F1值0.50–1.46点,同时推理时间仅为基础范式1.49倍。这些发现表明,任务分解和候选范围对于有效利用LLM进行ECPEC至关重要。

## 1 引言

参考图1:范式差距与未实现的分离潜力。Jud持续优于Gen,而共享决策边界仅实现了候选排序所允许的部分分离。

对话中的情绪-原因对抽取(ECPEC)旨在识别情绪-原因话语对,其中原因话语触发或解释了目标话语所传达的情绪(Li等人,2023(https://arxiv.org/html/2607.26967#bib.bib29);Wang等人,2023(https://arxiv.org/html/2607.26967#bib.bib34))。ECPEC可能涉及多个说话者和多个原因,需要对对话上下文进行因果推理。以往研究(Jeong和Bak,2023(https://arxiv.org/html/2607.26967#bib.bib25);Liu等人,2023(https://arxiv.org/html/2607.26967#bib.bib31);An等人,2023(https://arxiv.org/html/2607.26967#bib.bib22);Wang等人,2024a(https://arxiv.org/html/2607.26967#bib.bib35);Ma等人,2026(https://arxiv.org/html/2607.26967#bib.bib38))主要通过显式建模对话上下文、说话者交互和情绪-原因依赖关系的任务特定架构来解决该任务。近期,LLM展示了强大的语言理解和上下文推理能力(Huang和Chang,2023(https://arxiv.org/html/2607.26967#bib.bib87);Wang等人,2024b(https://arxiv.org/html/2607.26967#bib.bib88);Lou等人,2024(https://arxiv.org/html/2607.26967#bib.bib89)),这为情绪-原因推理提供了自然基础。因此,近期研究(Luo等人,2024(https://arxiv.org/html/2607.26967#bib.bib79);Ju等人,2025(https://arxiv.org/html/2607.26967#bib.bib37);Wang等人,2026(https://arxiv.org/html/2607.26967#bib.bib82);Wu等人,2026(https://arxiv.org/html/2607.26967#bib.bib41))越来越多地探索基于LLM的ECPEC方法。

尽管基于LLM的ECPEC仍处于早期阶段,但现有研究已探索了截然不同的LLM使用方式。例如,Tu等人(Tu等人,2026(https://arxiv.org/html/2607.26967#bib.bib40))通过要求GPT-4从完整对话中预测所有话语的情绪和原因来评估其性能;而Luo等人(Luo等人,2024(https://arxiv.org/html/2607.26967#bib.bib79))和Arefa等人(Arefa等人,2024(https://arxiv.org/html/2607.26967#bib.bib77))则将任务分解为情绪识别,随后进行针对特定目标的原因预测。Ju等人(Ju等人,2025(https://arxiv.org/html/2607.26967#bib.bib37))将每个目标-候选对形式化为一个是否问题,并使用GPT-3.5来细化候选决策。更复杂的系统将LLM嵌入到以说话者为中心的认知-感知-推理智能体(Wang等人,2026(https://arxiv.org/html/2607.26967#bib.bib82))中,或使用多LLM辩论来解决生成模型和判别模型有争议的情绪和对预测(Wu等人,2026(https://arxiv.org/html/2607.26967#bib.bib41))。尽管存在这种多样性,但现有研究尚未就如何向LLM呈现ECPEC达成共识,如何有效利用其能力来完成该任务仍有待探索。

参考图2:三种基于LLM的ECPEC范式示意图。

为了探究这一开放问题,我们从范式角度重新思考基于LLM的ECPEC。根据任务分解粒度,我们将现有方法提炼为三种代表性范式:对话级生成(Gen)、目标级选择(Sel)和对级别判断(Jud)(§2(https://arxiv.org/html/2607.26967#S2))。令人惊讶的是,我们发现范式选择会导致ECPEC性能的显著差异,在不同LLM骨干网络和输入模态下,Jud始终优于Gen(如图1(https://arxiv.org/html/2607.26967#S1.F1)(a)所示),这证明了这种范式差距的广泛普遍性(§3(https://arxiv.org/html/2607.26967#S3))。

为了理解这种差距的驱动因素,我们随后进行深入分析,考察任务分解如何影响情绪-原因对的识别以及完整原因集的恢复(§4(https://arxiv.org/html/2607.26967#S4)–§5(https://arxiv.org/html/2607.26967#S5))。我们发现,Gen遗漏的许多对在更显式的查询下仍然可识别。更一般地,当直接询问指定话语是否导致另一个话语的情绪时,LLM能识别92.7%–98.1%的金标准情绪-原因对。此外,当对话包含更多金标准对、目标话语有多个原因或原因距离目标较远时,Gen会遗漏更多对。这些发现表明,Gen的主要困难在于必须一次性发现并返回所有对,而非LLM无法识别它们。Jud通过要求LLM一次检查一个候选对来减轻这一负担,但将这些决策组合成完整的原因集仍然困难,模型通常对金标准原因给出高于负候选的分数,但单一的决策阈值无法跨目标可靠地分离它们(图1(https://arxiv.org/html/2607.26967#S1.F1)(b))。总体而言,范式差距的产生是因为更细粒度的任务分解能更好地暴露LLM的对识别能力,但这种能力在候选排序中比在二元判断中更可靠地体现。

基于这些发现,我们为判断范式开发了一种轻量级补救措施,使用辅助检索器选择性重新检查决策边界附近的模糊案例。该措施在三个数据集上一致地提升了F1值0.50–1.46点,表明调整决策边界是一个可行的改进方向。最后,我们的效率分析显示,将对级别查询限制在局部范围可将宏F1比Gen-Full提升14.47点,同时推理时间限制在1.33倍,而Jud-Full的推理时间为9.08倍。我们的发现表明,更细粒度的任务分解与可控的候选范围相结合,可以更好地利用LLM的推理能力完成ECPEC任务,同时在有效性和效率之间保持实际平衡。

## 2 背景

本工作聚焦于对话中情绪-原因对抽取(ECPEC)任务。给定一个多轮对话D = {(u_i, s_i, x_i)}_{i=1}^N,其中u_i表示第i个话语,s_i是对应于u_i的说话者,x_i包含文本特征以及(若可用)声学和视觉特征。ECPEC的目标是识别D中所有情绪-原因对:

P* = {(u_e, u_c) | u_c 导致 u_e 中的情绪}, (1)

值得注意的是,一个情绪话语可能有多个原因,并且可能充当自身的原因。受LLM强大推理能力的鼓舞,近期ECPEC研究越来越多地探索基于LLM的解决方案。我们根据推理粒度将基于LLM的ECPEC方法提炼为三种范式(图2(https://arxiv.org/html/2607.26967#S1.F2)),即对话级生成、目标级选择和对级别判断。

#### 对话级生成。

对话级生成(Gen)将完整对话D作为输入,并通过一次LLM调用联合预测每个话语u_i ∈ D的情绪标签和原因话语集合:

[(i, y_i, C_i)]_{i=1}^N = f^{Gen}(D), (2)

其中y_i是u_i的预测情绪标签,C_i表示预测为导致u_i情绪的话语索引集合,f^{Gen}是LLM推理函数。

#### 目标级选择。

目标级选择(Sel)将包含N个话语的对话D的预测分解为N次以话语为条件的LLM调用。每次调用固定一个话语u_i作为目标,将每个合格话语u_j ∈ D(包括u_i自身)视为候选原因,并预测情绪标签y_i和原因索引集C_i:

(y_i, C_i) = f^{Sel}(D, u_i). (3)

#### 对级别判断。

对级别判断(Jud)将Sel中目标条件的预测进一步分解为对单个目标-候选对的独立二元决策。对于每个目标话语u_i和每个合格候选话语u_j,使用单独的LLM调用来判断u_j是否导致u_i所表达的情绪:

f^{Jud}(D, u_i, u_j) ∈ {yes, no}. (4)

尽管Jud理论上通过穷举枚举D中所有目标-候选对而需要O(N^2)次LLM调用,但我们后续的分析显示,将每个目标u_i的候选原因限制为{u_j | max(1, i-4) ≤ j ≤ i}可以在保持性能的同时将调用次数减少到O(N)。

## 3 任务范式如何塑造ECPEC?

本节首先比较三种基于LLM的ECPEC范式与代表性ECPEC方法,并考察范式间的性能差异(§3.2(https://arxiv.org/html/2607.26967#S3.SS2))。然后我们研究这些范式级差异是否在不同实验设置下持续存在(§3.3(https://arxiv.org/html/2607.26967#S3.SS3))。

### 3.1 实验设置

我们在ECF(Wang等人,2023(https://arxiv.org/html/2607.26967#bib.bib34))、ConvECPE(Li等人,2023(https://arxiv.org/html/2607.26967#bib.bib29))和RECCON(Poria等人,2021(https://arxiv.org/html/2607.26967#bib.bib32))上评估这三种范式。LLaMA-3.1-8B(Llama Team,2024(https://arxiv.org/html/2607.26967#bib.bib84))作为所有三种范式的主要骨干网络,而Qwen-2.5-7B(Qwen Team,2025(https://arxiv.org/html/2607.26967#bib.bib85))和GLM-4-9B(Team GLM,2024(https://arxiv.org/html/2607.26967#bib.bib86))被纳入以评估骨干网络的泛化性。除非另有说明,所有实验均使用纯文本输入。一个关键的实验设置是候选范围,它决定了每个目标情绪话语被视为候选原因的话语范围。在三个数据集中,87.0%–93.9%的金标准原因话语要么是目标话语本身,要么是其前四个话语之一,详见附录表10(https://arxiv.org/html/2607.26967#A2.T10)。因此,我们在两种候选范围下进行所有实验:局部范围考虑每个目标u_i满足0 ≤ i-j ≤ 4的话语u_j;全局范围考虑对话中所有话语,包括前后话语。实验协议的更多细节见附录B(https://arxiv.org/html/2607.26967#A2)。

| | ECF | | ConvECPE | | RECCON | |
| --- | --- | --- | --- | --- | --- | --- |
| 方法 | P | R | F1 | P | R | F1 | P | R | F1 |
| 传统方法 | | | | | | | | | |
| MRC | 44.46 | 57.65 | 50.20 | 25.92 | 47.05 | 33.42 | 52.19 | 52.86 | 52.47 |
| CENTER | 47.90 | 43.65 | 44.75 | 37.98 | 45.60 | 41.44 | 47.39 | 46.88 | 47.13 |
| SCALE | 55.01 | 60.67 | 57.70 | 40.31 | 51.74 | 45.32 | 56.31 | 61.60 | 58.83 |
| 先前基于LLM的方法 | | | | | | | | | |
| DEC-Debate♯ | 69.51 | 55.52 | 61.73 | 50.18 | 50.54 | 50.36 | - | - | - |
| GMEC-GPT♯ | 55.92 | 50.93 | 53.31 | - | - | - | - | - | - |
| MSPF+♯ | - | - | - | 50.31 | 57.91 | 53.84 | 56.29 | 54.91 | 55.59 |
| 受控LLM范式 | | | | | | | | | |
| Gen-Full | 60.04 | 53.82 | 56.76 | 28.45 | 23.55 | 25.77 | 50.36 | 55.01 | 52.58 |
| Gen-Local | 64.98 | 51.31 | 57.34 | 50.37 | 31.75 | 38.95 | 56.55 | 56.42 | 56.49 |
| Sel-Full | 64.69 | 57.61 | 60.94 | 52.62 | 55.09 | 53.83 | 52.33 | 57.22 | 54.66 |
| Sel-Local | 66.52 | 55.15 | 60.30 | 56.13 | 53.32 | 54.69 | 57.67 | 53.20 | 55.34 |
| Jud-Full | 51.46 | 74.32 | 60.81 | 33.27 | 79.48 | 46.90 | 52.01 | 65.93 | 58.15 |
| Jud-Local | 67.74 | 57.39 | 62.14 | 58.16 | 56.92 | 57.53 | 63.60 | 54.78 | 58.86 |

表1:总体ECPEC性能比较。灰色底纹和下划线分别表示最好和第二好的结果。♯表示取自原始论文的结果。

### 3.2 LLM在ECPEC上具有竞争力

表1(https://arxiv.org/html/2607.26967#S3.T1)比较了三种基于LLM范式的受控实现与传统ECPEC方法及先前基于LLM的方法。结果首先表明LLM为ECPEC提供了有竞争力的基础。在局部范围内,Jud在ECF、ConvECPE和RECCON上分别达到62.14、57.53和58.86的F1值,优于表1(https://arxiv.org/html/2607.26967#S3.T1)中最强的基线(分别为61.73、53.84和58.83)。因此,设计得当的LLM范式可以实现最先进的ECPEC性能。然而,三种范式之间的性能差异显著。在局部范围内,它们在ECF上的F1范围从57.34到62.14,在ConvECPE上从38.95到57.53,在RECCON上从55.34到58.86。在全局范围下,相应的范围分别是56.76–60.94、25.77–53.83和52.58–58.15。Jud在六种设置中的四种实现了最高的F1。例外情况是全局范围下的ECF和ConvECPE,其中Sel分别达到60.94和53.83 F1,而Jud为60.81和46.90。范式级差异在ConvECPE上尤为明显,局部范围内F1差距达到18.58点,全局范围内达到28.06点。总体而言,仅仅采用LLM并不能保证ECPEC性能,而学习并执行任务的范式对其有效性起着决定性作用。

| LLaMA-3.1-8B | Qwen-2.5-7B | GLM-4-9B |
| --- | --- | --- |
| 输入 | Local | Full | Local | Full | Local | Full |
| 文本 | +4.80 | +4.05 | +5.13 | +8.32 | +1.98 | +5.65 |
| 多模态 + MLP | +3.41 | +5.75 | +3.77 | +6.60 | +1.90 | +5.25 |
| 多模态 + GraphSmile | +4.94 | +7.81 | +4.46 | +7.11 | +5.49 | +6.48 |

表2:在ECF上不同设置下Jud相对于Gen的F1提升。

### 3.3 范式差距在不同设置下持续存在

使用Gen和Jud作为任务分解谱系的两个端点,我们接下来考察对级别判断的优势是否在骨干架构和输入表示上具有泛化性。

相似文章

揭示对话情感识别中的弱点

arXiv cs.AI

本文通过分析大型语言模型(LLMs)在零样本设置中的表现,研究对话情感识别(ERC)的弱点,揭示了由于标注模糊性导致的系统性失败,并提出了一个LLM-as-Judge框架以实现更鲁棒的评估。

在现实对话环境中评估语言模型

arXiv cs.CL

本文介绍了UPHELD,这是一个用于评估LLMs人类规模对话能力的大型基准,并提出了一个Mixture-of-Judges框架,将与人类评估的相关性提高了约30%。

面向多模态情感-原因配对提取的鲁棒配对置信度学习

arXiv cs.CL

本文介绍了RPCL,一种仅用于训练阶段的鲁棒配对置信度学习框架,用于多模态情感-原因配对提取。该框架改进了黄金配对与困难负例之间的判别性分离,并在三个数据集上的Pair F1和AUPRC指标上取得了显著提升。