CIG：通过语义记忆动态测量审议对话中的会话信息增益

# CIG: 用语义记忆动态测量审议对话中的会话信息增益

来源: https://arxiv.org/html/2604.15647

Jey Han Lau、Lea Frermann
墨尔本大学计算与信息系统学院
\{mingbin,laujh,lfrermann\}@unimelb\.edu\.au

###### 摘要

测量公开审议质量不仅需要评估文明程度或论证结构，还要评估对话的信息进展。我们引入了**会话信息增益（CIG）**框架，用于评估每个话语如何推进对目标话题的集体理解。为了实现CIG，我们建立了一个不断演化的**语义记忆**模型：系统从话语中提取原子命题，并将其逐步整合到结构化的记忆状态中。使用这个记忆，我们按照三个可解释的维度对每个话语进行评分：**新颖性、相关性和蕴含范围**。我们对来自两个有主持的审议设置（电视辩论和社区讨论）的80个段落进行了标注，并表明记忆衍生的动态（如命题更新数量）比传统启发式方法（如话语长度或TF-IDF）与人类感知的CIG更强相关。我们开发了有效的基于LLM的CIG预测器，为对话和审议成功中以信息为中心的对话质量分析奠定了基础。¹

代码和标注数据可在https://github.com/mrknight21/memcig-analysis/tree/master/data获取。

## 1 引言

**图1：CIG流程概览**。每个话语以语义记忆作为知识上下文，根据新颖性、相关性、蕴含范围和总体CIG进行评估（1–4）。语义记忆通过两个模块维护：**提取**模块将话语转换为原子命题；**整合**模块将提取的命题与检索到的记忆进行匹配，触发ADD、UPDATE或NONE操作。

**公开审议**——旨在实现集体理解和决策的理性对话——是民主社会的基础。然而，从社区论坛到公开辩论，这些交流的质量差异很大，从停滞不前到富有成效的合作都存在。对话质量评估指标主要侧重于结构形式而非实质内容。基于审议质量指数（DQI）等方案的方法，或文明程度和论证结构的计算代理，难以捕捉真正的信息进展。这些表面信号可能造成误导：文明措辞可能隐藏恶意，而有价值的见解可能来自非正式交流。这些方法无法区分建设性进展和官僚化谈话。

基于Meadow和Yuan关于信息影响的概念——"信息接收者的知识库中发生的变化，或该变化的性质或幅度"——我们将**会话信息增益（CIG）**定义为话语在多大程度上推进集体理解朝向目标/话题的发展。我们将CIG分解为三个可解释的方面——新颖性、相关性和蕴含范围——捕捉一项贡献是否引入新信息、是否连接到共同目标，以及其含义是否超越个别案例扩展到更广泛的公众。

为了实现CIG，我们需要一个不断演化的集体知识状态表示，根据它来评估每个新话语：标注人员和模型都必须知道已经说过什么。如图1所示，我们通过维护整合命题集合的轻量级语义记忆来实现这一点。我们首先通过对来自两个有主持的小组讨论设置——电视辩论和社区讨论——的80个对话段落的人工标注来验证CIG，在CIG及其各方面上达到了中等至高度的标注者间一致性。随后，我们通过使用能够访问人类标注人员相同信息（话题、简短背景和先前记忆摘要）的LLM来验证自动化，并证明LLM预测与汇总的人类判断密切相关。最后，通过改变模型的先前上下文，我们发现基于检索记忆摘要的预测与基于完整先前文本记录的预测高度相关，表明记忆摘要在自动化CIG评估中提供了紧凑而又忠实的替代。

然后我们分析记忆动态如何与感知的信息进展相关，发现简单的记忆状态信号（如命题更新计数）比常见启发式方法（如句子熵或TF-IDF）更一致地追踪人类CIG评分。无监督的聚合分析揭示了"合取瓶颈"：话语的CIG受到其最弱方面的有效限制。最后，我们提供了一个案例研究，说明CIG如何用于分析有主持讨论中的下游交互动态。

## 2 相关工作

#### 测量对话中的信息量

虽然信息量的定义在不同学科中有所不同，但它们都有一个共同的概念核心：信息对接收者诱发的变化——无论是在确定性、效用还是知识状态方面。特别是，对话评估已基本聚合在两个必要条件上，这两个条件需要触发这种变化：新颖性（新信号的存在）和相关性（该信号与目标背景的对齐）。然而，仅这两个维度不足以捕捉一项贡献的**幅度**或**价值**。虽然"影响"或"有用性"等指标试图代理这第三个维度，但它们通常定义模糊或依赖于混淆个人偏好与集体价值的主观李克特量表。

补充性的工作扩展了古典信息论，利用惊异或信息密度来追踪信息流。然而，这些措施只与人类感知的显著性部分一致，限制了它们在定位信息交换中的精度。

#### 代理语义记忆

代理记忆模块提供了一种在对话期间测量知识获取的方法。最初为维持长对话会话中对话代理的连贯性和个性化而开发，这些模块通过维护一个选择性的、持久的状态来运作。在Mem0等框架中，显著命题从话语中提取，LLM将更新操作应用于知识库。这种方法改进了长对话基准上的时间和多跳推理，并相比完整历史基线降低了延迟和令牌成本。

| 方面 | 标签 | 定义/锚点 |
|------|------|---------|
| **会话信息增益** | 1. 无增益 | 重复或阻碍；没有超越现有知识的有意义进展。 |
| | 2. 最小增益 | 小的澄清或细微差别，明显但有限。 |
| | 3. 递增 | 在相同概念框架内添加新细节/机制或话题内想法。 |
| | 4. 富有洞察力 | 重新框架化或在话题下引入新想法；以有价值的方式改变对话方向。 |
| **新颖性** | 1. 不新颖 | 先前内容的重复/释义或非/常识内容。 |
| | 2. 最小新颖 | 添加到现有想法的次要或大多可预测的细节。 |
| | 3. 中等新颖 | 扩展现有想法的新证据、具体例子或支持细节。 |
| | 4. 高度新颖 | 开启新方向的新框架、原则、想法或推理路线。 |
| **相关性** | 1. 无关 | 离题；与对话目标无关。 |
| | 2. 最小相关 | 松散或间接链接；需要推理才能连接。 |
| | 3. 中等相关 | 实质相关但不核心（如旁支问题或反驳）。 |
| | 4. 高度相关 | 直接明确地解决核心话题或目标。 |
| **蕴含范围** | 1. 本地 | 管理即时时刻；含义局限于参与者/程序。 |
| | 2. 有界 | 自成一体的事实、感受或立场；不超越案例泛化。 |
| | 3. 泛化 | 归纳地将案例或证据泛化为更广泛的受众。 |
| | 4. 普遍 | 陈述具有广泛或普遍适用性的抽象原则、价值观或规范。 |

**表1：会话信息增益（CIG）评分标准**。每个方面使用先验知识和先前对话作为集体知识上下文，按1–4量表评分。

## 3 会话信息增益（CIG）

基于先前的小组讨论分析研究，我们将**会话信息增益（CIG）**定义为在给定先验知识和先前对话的情况下，回应对推进小组对话题的共同理解或朝向目标的进展的贡献程度。我们将CIG分解为三个方面——新颖性、相关性和蕴含范围——以将信息量的一般标准与公开审议的需求联系起来。新颖性和相关性捕捉一项贡献是否引入新信息以及是否与讨论目标相关，而蕴含范围捕捉贡献的含义超越直接情况和人员的范围有多广，反映了审议的公共导向。所有构念均采用四级量表评分（表1）。

重要的是，CIG反映的是信息推进而非对话质量本身——重复或协调动作在CIG上通常得分较低，尽管它们可能仍间接支持讨论。

为了确立CIG的高级别，我们借鉴了Chi（2009）的概念变化类型学，该类型学区分了**同化**——在现有心智模型内添加信息——和**顺应**——重组模型本身。相应地，我们区分了我们的顶两个CIG级别：第3级（递增）反映同化，其中话语在当前框架内添加证据、细节或机制；第4级（富有洞察力）反映顺应，其中话语引入新框架或原则，在质量上重新定向讨论。

每个方面的详细定义见表1，示例见附录表12。

#### 新颖性

评估信息相比先验知识和先前对话是否为新。传统方法通常使用针对先前文本的n-gram重叠来代理新颖性，但最近的研究表明词汇新颖性与人类感知的关联度很差。因此，我们在与CIG类似的四级量表上评价新颖性，其中的级别反映消息对现有概念框架的影响。新颖性得分有意独立于话题对齐和影响幅度。

#### 相关性

测量消息与主要对话话题或目标的实质相关程度。由于词汇重叠代理在上下文敏感和隐式对话中与人类判断的关联度很弱，我们采用四级话题–对话相关性量表。第1级（离题）和第4级（直接在话题上）形成端点；关键区别在中间层级之间。第2级（最小相关）涵盖与目标的连接是间接的且需要桥接推理的内容（如就"住房可负担性"话题说"学校选择"），第3级涵盖清楚地连接但不核心的内容，通常是公认的子话题（如"分区限制"）。

#### 蕴含范围

测量陈述的预期范围——它应该对谁重要以及其含义推广的程度。许多对话评估方案包含"影响"维度。但在公开审议中，感知的影响是主观的且高度依赖背景。因此，我们运用这一理念——基于Meadow和Yuan（1997）中的"通用性"概念——作为贡献投射到直接发言人和案例之外的**蕴含范围**。这是审议动机的：参与者经常在**位置化证言**（对我/我们在这里发生了什么）和**公共理由**（应该对社区重要什么）之间移动，这种从特殊到可公开寻址的关注的"提升"通常被视为审议合法性的核心。

我们的评分标准有四个级别。第1级涵盖其重要性局限于即时交互的本地或程序性动作（如轮次管理）。第2级捕捉有界的、案例特定的内容（如个人事实或立场），不超越案例泛化。第3级反映归纳泛化，其中具体经验或证据被用来激发更广泛的模式——例如为社会伤害提供证据的证言。第4级表示普遍、原则级别的声明，为广泛的公众适用性而框架化（如权利、公平、