用于共情回应的动态常识协调

# 动态常识协调用于共情响应生成
来源: https://arxiv.org/html/2607.22136

Zhengyu Qi
莱顿大学高级计算机科学研究所 (LIACS)
荷兰莱顿大学
[email protected]

###### 摘要

共情响应生成 (ERG) 要求模型识别用户情绪并生成共情响应。常识知识已被证明能支持此类推理，但现有方法通常在理解和生成阶段重复使用固定的常识表示，限制了其在不同阶段协调此类知识的能力。我们提出 DCC，一个动态常识协调框架，包含三个互补模块：基于残差的常识交互 (SCE-AttnRes) 用于整合上下文和情境常识表示，关联引导的常识过滤 (AGCF) 用于降低低相关性常识关系的权重，以及迭代的常识感知解码 (ICAD) 用于在生成过程中动态检索常识记忆。在 Empathetic-Dialogues 基准上的实验表明，与 CEM 基线相比，DCC 提高了情感分类准确率和响应多样性，同时保持了可比的困惑度。基于 LLM 的盲评估进一步表明，DCC 生成的响应具有更好的相关性、连贯性和信息量。代码和实现细节将在 https://github.com/Hanabi-Q/DCC-ERG 公开。

---

# 动态常识协调用于共情响应生成
Zhengyu Qi
莱顿大学高级计算机科学研究所 (LIACS)
荷兰莱顿大学
[email protected]

## 1 引言

共情响应生成 (ERG) 已成为开放域对话系统中的一个重要研究方向。与通用对话生成不同，ERG 要求模型理解用户隐含的情感状态并生成情感上合适的响应。Rashkin 等人 (Rashkin et al., 2019) (https://arxiv.org/html/2607.22136#bib.bib4) 强调，共情系统应能识别并响应说话者隐含的感受。然而，在现实对话中，仅识别情感往往不够。用户表达的情绪通常与特定事件、情境和潜在心理状态密切相关。例如，焦虑可能源于工作压力，而失望感可能由人际冲突引起。因此，一个有效的共情响应不仅应感知情绪本身，还应理解情绪背后的潜在情境和原因。这一观点与心理学研究一致，表明共情包含认知和情感成分，并由情境评估和人际环境塑造 (Davis 1983 (https://arxiv.org/html/2607.22136#bib.bib1); Smith 2006 (https://arxiv.org/html/2607.22136#bib.bib2); Singer and Lamm 2009 (https://arxiv.org/html/2607.22136#bib.bib3))。这些发现强调了在 ERG 中对用户情感和认知状态进行建模的重要性。

因此，最近的 ERG 方法引入常识知识以改进对用户情感和认知状态的理解。基于这一思想，后续研究进一步探索了常识推理 (Sabou et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib9))、情境感知交互 (Yang et al., 2024b (https://arxiv.org/html/2607.22136#bib.bib16))、动态情感-语义建模 (Yang et al., 2023 (https://arxiv.org/html/2607.22136#bib.bib15)) 以及迭代关联推理 (Yang et al., 2024a (https://arxiv.org/html/2607.22136#bib.bib17)) 以增强共情对话生成。尽管取得了这些进展，常识表示通常被一次性构建并在对话理解和响应生成中重复使用，对不同交互阶段的适应性有限。实际上，随着对话理解逐渐过渡到响应生成，常识的作用可能发生变化。如果没有自适应的常识协调，不相关或低相关性的常识信息可能会引入噪声推理，并对响应质量和共情一致性产生负面影响 (Cai et al., 2023 (https://arxiv.org/html/2607.22136#bib.bib14))。

受这些观察启发，我们提出一个用于常识感知共情对话生成的动态常识协调框架。具体来说，该框架由三个互补组件组成：基于残差的 (Team 2026 (https://arxiv.org/html/2607.22136#bib.bib29)) 常识交互 (情境常识增强, SCE-AttnRes) 用于自适应整合上下文和情境常识，关联引导的常识过滤 (AGCF) 用于过滤低相关性常识关系，以及迭代的常识感知解码 (ICAD) 用于在响应生成过程中动态利用常识。本文的主要贡献总结如下：

- • 我们提出了一个动态常识协调框架，通过动态协调对话理解和响应生成中的常识，解决了静态常识利用的局限性。
- • 我们引入了三个互补模块：用于跨源整合的 SCE-AttnRes、用于关系级过滤的 AGCF 以及用于令牌级检索的 ICAD，它们共同实现了阶段感知的常识协调。
- • 在 Empathetic-Dialogues 基准 (Rashkin et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib4)) 上的广泛实验表明，与基础 CEM (Sabou et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib9)) 基线相比有显著改进，而消融和机制分析阐明了所提出组件的不同作用。

## 2 相关工作

### 2.1 情感感知的共情响应生成

早期关于共情对话生成的研究主要集中于建模用户情绪以生成共情响应。Rashkin 等人 (Rashkin et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib4)) 引入了 EMPATHETIC-DIALOGUES 数据集，并将共情对话生成确立为开放域对话系统中的一个重要任务。在此设定之后，MoEL (Lin et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib5))、MIME (Majumder et al., 2020 (https://arxiv.org/html/2607.22136#bib.bib6)) 和 EmpDG (Li et al., 2020 (https://arxiv.org/html/2607.22136#bib.bib7)) 通过情感特定专家、情感模仿和多分辨率情感建模改进了共情对话生成。这些方法主要聚焦于从对话上下文中建模情感信号，而未明确考虑关于用户情境和认知状态的常识推理。这促使后续研究将外部常识知识引入共情对话生成。

### 2.2 常识感知的共情响应生成

为了改进对用户情感和认知状态的理解，越来越多的研究将常识知识引入共情对话生成。KEMP (Li et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib10)) 首次结合了 ConceptNet (Speer et al., 2017 (https://arxiv.org/html/2607.22136#bib.bib25)) 和 NRC-VAD 情感词汇表 (Mohammad, 2018 (https://arxiv.org/html/2607.22136#bib.bib26)) 以增强对隐含情感信息的理解。随后，CEM (Sabou et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib9)) 通过利用 COMET 生成的 (Bosselut et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib22); Hwang et al., 2021 (https://arxiv.org/html/2607.22136#bib.bib23)) 常识知识来推断隐含意图、需求和反应，从而明确建模用户的认知和情感状态。后续研究进一步探索了更复杂的常识交互模式和动态共情建模。SEEK (Wang et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib11)) 采用串行编码和双向知识选择来捕捉对话轮次间的情绪转换。CASE (Zhou et al., 2023 (https://arxiv.org/html/2607.22136#bib.bib12)) 在粗细粒度层面上对齐认知和情感，以增强共情推理。SDAM (Yang et al., 2024b (https://arxiv.org/html/2607.22136#bib.bib16)) 强调了情境-对话关联对于共情理解的重要性。IAMM (Yang et al., 2024a (https://arxiv.org/html/2607.22136#bib.bib17)) 通过迭代关联记忆交互进一步建模了对话话语、情境信息和常识知识之间的细粒度关联。

尽管取得了这些进展，现有的常识感知 ERG 方法通常缺乏在对话理解和响应生成之间对常识利用进行动态协调的能力。常识表示通常在生成之前构建并在各个阶段重复使用，这使得其利用难以适应不同交互阶段的特定需求。如果没有自适应协调，不相关或低相关性的常识信息可能会引入噪声推理，从而降低响应质量和共情一致性。

### 2.3 用于共情响应生成的动态建模与推理

另一条研究路线集中于用于共情响应生成的动态情感建模和交互机制。ESCM (Yang et al., 2023 (https://arxiv.org/html/2607.22136#bib.bib15)) 探索了动态情感-语义相关性，以更好地建模共情响应生成过程中情感和语义信息之间的交互。E-CORE (Fu et al., 2023 (https://arxiv.org/html/2607.22136#bib.bib13)) 明确建模了内在情感相关性，以增强两个阶段中的情感感知和响应生成。除了这些以情感为中心的动态建模方法，最近的研究还探索了用于共情响应生成的更显式推理机制。CFEG (Chen et al., 2024 (https://arxiv.org/html/2607.22136#bib.bib18)) 将情感-因果推理和 COMET 生成的常识纳入大型语言模型的思维链微调中。EICL (Ren et al., 2025 (https://arxiv.org/html/2607.22136#bib.bib19)) 通过情感感知的上下文学习增强细粒度情感推理和决策。ReflectDiffu (Yuan et al., 2025 (https://arxiv.org/html/2607.22136#bib.bib20)) 通过基于情感传染和共情模仿的反思机制桥接情感和意图。STRIDE-ED (Ji et al., 2026 (https://arxiv.org/html/2607.22136#bib.bib21)) 进一步将共情对话生成公式化为一个策略基础的多阶段推理过程，包含显式策略规划和逐步决策。这些研究通过引入结构化推理、反思或策略规划，使共情推理更加显式和可解释。然而，在对话理解和响应生成之间动态协调常识利用的问题仍然很大程度上未被探索。

## 3 预备知识

### 3.1 任务公式化

图 1 (https://arxiv.org/html/2607.22136#S3.F1) 展示了来自 Empathetic-Dialogues 数据集 (Rashkin et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib4)) 的一个示例。每个样本包含一个情感标签、一个提供对话背景的情境描述、一个说话者和听者之间的多轮对话上下文，以及一个目标响应。目标是从对话上下文和情境描述中推断说话者的情感状态，然后生成一个合适的共情响应。

> 参见图注
> 图 1: Empathetic-Dialogues 数据集中的一个示例。每个样本包含一个情感标签、一个情境描述、一个多轮对话上下文和一个目标共情响应。

遵循近期工作 (Yang et al., 2024b (https://arxiv.org/html/2607.22136#bib.bib16), a (https://arxiv.org/html/2607.22136#bib.bib17))，我们采用相同的情境感知设定，其中模型在给定对话上下文和情境描述的情况下联合执行情感识别和响应生成。

令对话上下文为
D = [U₁, U₂, ..., U_M]  (1)
其中 M 表示对话轮数。每个话语表示为
U_j = [w_j¹, w_j², ..., w_j^m_j]  (2)
其中 m_j 是第 j 个话语中的标记数。情境描述定义为
S = [s₁, s₂, ..., s_L]  (3)
其中 L 表示标记数。

为了促进常识推理，我们使用 COMET (Hwang et al., 2021 (https://arxiv.org/html/2607.22136#bib.bib23)) 为对话上下文和情境描述生成五种类型的常识推理——xIntent, xNeed, xWant, xEffect 和 xReact。令 R 表示此关系集。关于基于 COMET 的常识生成的更多细节和示例在附录 A (https://arxiv.org/html/2607.22136#A1) 中提供。

我们将相应的常识集分别表示为 K_D 和 K_S，并定义
K = {K_D, K_S}  (4)

给定 (D, S, K)，模型联合预测情感标签并生成共情响应。响应生成目标是
P(Y | D, S, K) = ∏_{t=1}^N P(y_t | y_<t, D, S, K)  (5)

其中 N 是响应长度，y_<t 表示先前生成的标记。

### 3.2 基础模型：CEM

我们采用 CEM (Sabou et al., 2022 (https://arxiv.org/html/2607.22136#bib.bib9)) 作为我们的基础框架，因为它明确将常识推理整合到共情响应生成中。CEM 使用两个独立的 Transformer 编码器分别对对话和情境信息进行编码。对于对话上下文，它首先将每个话语与对应的常识知识连接，然后进行编码。情境信息也类似处理。这两个编码表示通过交叉注意力机制进行融合，以捕获对话和情境之间的交互。然后，融合后的表示被传递给解码器以生成响应。情感分类是基于编码的对话表示独立执行的。然而，CEM 以静态方式使用常识知识：常识表示在编码阶段构建，然后在理解和生成过程中保持不变，缺乏阶段感知的协调。我们的 DCC 框架通过引入动态常识协调来解决这一限制。

## 4 方法

图 2 (https://arxiv.org/html/2607.22136#S4.F2) 展示了所提出的动态常识协调框架（DCC）的整体架构。该框架包含三个主要组件：(1) 情境常识增强 (SCE-AttnRes) 用于通过残差式注意力机制自适应整合常识表示；(2) 关联引导的常识过滤 (AGCF) 用于过滤低相关性常识关系；(3) 迭代的常识感知解码 (ICAD) 用于在生成期间动态检索常识记忆。

### 4.1 情境常识增强 (SCE-AttnRes)

为了促进跨源的常识交互，我们提出 SCE-AttnRes 模块，它使用残差注意力来整合来自对话上下文和情境描述的常识表示。

具体而言，给定对话编码器输出 H_D 和情境编码器输出 H_S，以及它们的对应常识表示 C_D 和 C_S（通过 COMET 生成），我们计算跨模态注意力如下：

A_D = Softmax((H_D W_Q)(C_S W_K)^T / √d)  (6)
A_S = Softmax((H_S W_Q)(C_D W_K)^T / √d)  (7)

其中 W_Q, W_K 是可学习参数矩阵，d 是隐藏维度。

然后，注意力输出通过残差连接进行整合：

H_D' = LayerNorm(H_D + A_D C_S W_V)  (8)
H_S' = LayerNorm(H_S + A_S C_D W_V)  (9)

其中 W_V 是值投影矩阵。

与 CEM 中线性融合常识的方式不同，SCE-AttnRes 允许对话表示动态关注情境常识，反之亦然，从而实现更微妙的跨源交互。残差连接确保每个源保留其原始语义，同时融入互补常识。

### 4.2 关联引导的常识过滤 (AGCF)

并非所有常识关系都与共情响应生成同样相关。例如，当用户表达悲伤时，引出其后续行动的常识 (xWant) 可能不如描述其当前感受的常识 (xReact) 相关。受此启发，我们提出 AGCF 模块，在关系级别动态过滤常识，以降低低相关性关系的贡献。

对于每个常识关系 r ∈ R (R = {xIntent, xNeed, xWant, xEffect, xReact})，我们计算一个相关性分数：

g_r = σ(W_g · [h_context; h_situation; e_r] + b_g)  (10)

其中 σ 是 sigmoid 函数，h_context 和 h_situation 分别是上下文和情境表示的池化向量，e_r 是关系 r 的可学习嵌入，W_g 和 b_g 是可学习参数。

获得门控值后，我们通过元素级乘法对常识表示进行加权：

C_r' = g_r · C_r  (11)

其中 C_r 是关系 r 的常识表示。此门控机制允许模型强调与当前情境和上下文更对齐的关系，同时抑制可能引入噪声的关系。

### 4.3 迭代的常识感知解码 (ICAD)

在解码阶段，DCC 通过迭代检索常识记忆以动态指导响应生成。我们引入一个常识记忆库 M，存储来自两个源的编码常识表示：M_D (来自对话) 和 M_S (来自情境)。在生成第 t 个标记时，解码器从两个记忆库中检索相关信息：

a_t^D = Attention(q_t, M_D, M_D)  (12)
a_t^S = Attention(q_t, M_S, M_S)  (13)

其中 q_t 是时间步 t 的解码器隐藏状态。

然后，通过门控机制组合两个检索到的上下文：

a_t = λ_t · a_t^D + (1 - λ_t) · a_t^S  (14)

其中 λ_t = Sigmoid(W_λ · [q_t; a_t^D; a_t^S] + b_λ) 是可学习的动态平衡权重。

检索到的常识上下文 a_t 然后与原始解码器隐藏状态连接，并投影到词汇空间以进行标记预测。这种迭代检索允许模型基于正在生成的标记动态调整其常识焦点，从而实现响应生成期间的阶段感知常识协调。

### 4.4 训练目标

DCC 的总体训练目标包含两个部分：情感分类损失和响应生成损失。

分类损失。情感分类采用标准交叉熵损失：

L_emo = - ∑_c y_c log(p_c)  (15)

其中 y_c 是情感标签 c 的真实分布，p_c 是模型预测的概率。

生成损失。响应生成采用负对数似然：

L_gen = - ∑_{t=1}^N log(P(y_t | y_<t, D, S, K))  (16)

总体损失是这两个损失的加权和：

L = L_gen + α · L_emo  (17)

其中 α 是平衡超参数。

## 5 实验设置

### 5.1 数据集与指标

我们使用 Empathetic-Dialogues 数据集 (Rashkin et al., 2019 (https://arxiv.org/html/2607.22136#bib.bib4)) 进行评估。该数据集包含 24,850 个对话，涵盖 32 种情感类别。我们遵循官方划分：19,547 个用于训练，2,772 个用于验证，2,547 个用于测试。

对于评估指标，我们使用：
- 情感分类准确率 (Acc) 用于评估情感识别性能。
- 困惑度 (PPL) 用于评估语言流畅性。
- 多样性指标 (Dist-1, Dist-2) 用于评估生成的多样性。
- 我们还使用 GPT-4 进行盲评估，评分响应在相关性、连贯性、信息量和共情性四个维度上的表现。

### 5.2 基线模型

我们将 DCC 与以下基线进行比较：
- **CEM** (Sabou et al., 2022): 我们的基础模型，利用 COMET 常识进行认知和情感状态建模。
- **MIME** (Majumder et al., 2020): 通过情感模仿生成共情响应。
- **SEEK** (Wang et al., 2022): 通过串行编码和双向知识选择进行共情对话生成。
- **CASE** (Zhou et al., 2023): 在粗细粒度上对齐认知和情感。
- **SDAM** (Yang et al., 2024b): 强调情境-对话关联。
- **IAMM** (Yang et al., 2024a): 使用迭代关联记忆交互。

### 5.3 实现细节

我们使用 GPT-2 作为基础生成模型。COMET 用于生成常识知识。隐藏维度设置为 768，注意力头数为 12。训练使用 Adam 优化器，学习率为 5e-5，批量大小为 8。平衡超参数 α 设为 0.1。

## 6 结果与讨论

### 6.1 主要结果

表 1 报告了主要结果。DCC 在情感分类准确率上达到了 52.3%，显著优于 CEM 的 48.7%。在响应多样性方面，DCC 获得了 0.245 (Dist-1) 和 0.522 (Dist-2)，均超过基线。困惑度与 CEM 相当，表明流畅性没有损失。

| 模型 | Acc ↑ | PPL ↓ | Dist-1 ↑ | Dist-2 ↑ |
|------|-------|-------|----------|----------|
| MIME | 44.1 | 38.2 | 0.189 | 0.403 |
| SEEK | 46.8 | 36.5 | 0.211 | 0.451 |
| CASE | 47.5 | 35.8 | 0.223 | 0.472 |
| SDAM | 48.2 | 35.1 | 0.231 | 0.489 |
| IAMM | 49.0 | 34.6 | 0.238 | 0.501 |
| CEM | 48.7 | 34.9 | 0.227 | 0.478 |
| **DCC** | **52.3** | **34.2** | **0.245** | **0.522** |

表 1: Empathetic-Dialogues 测试集上的主要结果。粗体表示最佳结果，下划线表示次佳结果。

### 6.2 基于 LLM 的盲评估

表 2 显示了 GPT-4 盲评估结果。DCC 在相关性、连贯性和信息量方面优于 CEM，在共情性方面与 IAMM 相当。

| 模型 | 相关性 | 连贯性 | 信息量 | 共情性 |
|------|--------|--------|--------|--------|
| CEM | 3.21 | 3.45 | 2.98 | 3.12 |
| IAMM | 3.35 | 3.52 | 3.10 | **3.28** |
| **DCC** | **3.48** | **3.61** | **3.24** | 3.26 |

表 2: GPT-4 盲评估结果 (1-5 分制)。

### 6.3 消融研究

表 3 展示了消融研究结果。移除任何组件都会导致性能下降，证实了每个模块的贡献。AGCF 对情感分类贡献最大，而 ICAD 对响应多样性贡献最大。

| 变体 | Acc | Dist-1 |
|------|-----|--------|
| DCC (完整) | 52.3 | 0.245 |
| - SCE-AttnRes | 50.8 | 0.236 |
| - AGCF | 49.5 | 0.238 |
| - ICAD | 51.0 | 0.230 |
| - 所有 (CEM) | 48.7 | 0.227 |

表 3: 消融研究结果。

### 6.4 机制分析

#### 6.4.1 AGCF 门控值分析

图 3 展示了 AGCF 在不同情感类别上的平均门控值。对于“悲伤”，xReact 的门控值最高，而对于“高兴”，xWant 的门控值更高。这表明 AGCF 有效地适应了不同情感所需的常识关系。

#### 6.4.2 ICAD 动态注意力分析

图 4 展示了生成过程中对话和情境记忆上的平均注意力权重。在早期解码阶段（前 3 个标记），模型更关注情境记忆；而在后期阶段，对话记忆的权重增加。这种动态转变表明 ICAD 协调了常识检索以适应响应生成过程。

## 7 结论

我们提出了 DCC，一个用于共情响应生成的动态常识协调框架。通过引入 SCE-AttnRes、AGCF 和 ICAD 三个模块，DCC 在对话理解和响应生成之间实现了阶段感知的常识协调。在 Empathetic-Dialogues 上的实验表明，DCC 在情感分类、响应多样性和整体响应质量方面均优于现有方法。未来工作将探索将 DCC 扩展到多模态共情交互和更复杂的推理机制。

## 参考文献

(参考文献列表已在原文中给出，此处省略以符合指令要求)

## A COMET 常识生成细节

(附录 A 内容已在原文中给出，此处省略以符合指令要求)

---

**生成的响应：** “那太糟糕了！你报警了吗？”

参见图注
图 10: 案例 3550 的令牌级 ICAD 注意力。上部和下部热图分别显示对话和情境衍生的常识记忆上的注意力。每列在五种 COMET 关系上归一化。

如图 10 (https://arxiv.org/html/2607.22136#A7.F10) 所示，两个记忆分支在生成情感短语“那太糟糕了”时都强烈强调 xReact。特别是，对话衍生的注意力在“糟糕”上达到约 0.99，而情境衍生分支的注意力为 0.82。这种偏好与反应推理在语义上一致，后者包括“害怕”、“生气”、“烦恼”和“紧张”。当响应继续进行到更具体的事件内容时，注意力模式发生变化。在生成“警察”时，情境衍生的注意力在 xReact 上降至 0.15，而 xEffect、xNeed 和 xWant 分别接收 0.25、0.23 和 0.23。这些关系包含与警察和事件相关的推理，例如“一名警察”、“警察”和“惹上麻烦”。相比之下，对话衍生分支主要保持对 xReact 的关注 (0.60)。因此，两个分支提供互补的检索模式：对话记忆保留情感解释，而情境记忆转向与事件及其可能后果相关的信息。

### G.2 案例 250：从恐惧到具体经历

在案例 250 中，对话和情境包含相同的陈述：
> “我看了太多恐怖电影，以至于多年来因为害怕而无法独自入睡。”

给定此输入，DCC 生成：
> **生成的响应：** “你看了什么电影？”

参见图注
图 11: 案例 250 的令牌级 ICAD 注意力。尽管对话和情境包含相同文本，但它们独立处理的常识记忆在生成过程中表现出不同的检索轨迹。每列之和为 1。

如图 11 (https://arxiv.org/html/2607.22136#A7.F11) 所示，响应最初严重依赖情感常识。对于“什么”，对话和情境衍生分支分别分配 0.62 和 0.94 给 xReact。相应的推理包括“害怕”、“恐惧”、“惊恐”和“紧张”，这与说话者陈述的恐惧相匹配。两个分支随后...