论多方对话中指向的结构：从离散标签到连续级别

# 关于多方对话中话语指向结构的探讨：从离散标签到连续层级

来源：https://arxiv.org/html/2607.15648

Taiga Mori, Koji Inoue, Divesh Lala, Tatsuya Kawahara

日本京都大学信息学研究科 通讯作者：[email protected] (https://arxiv.org/html/2607.15648v1/[email protected])

###### 摘要

在对话系统与多个用户之间的多方对话中，判断一句话语指向谁是一个关键挑战。以往的研究通常将指向对象检测视为一个多类分类任务，选择代表单个参与者或群体的单一标签。这种表述假设话语指向本质上是离散的，并且主要被用于预测话轮转换。在本文中，我们通过将话语指向分析为一种连续现象来重新审视这一假设。利用一个由多位标注者标注的多方人类对话语料库，我们构建了从多数投票的指向对象标签中衍生的二元指向标签，以及通过潜在变量模型从标注者判断中推断出的连续指向层级。然后，我们研究了这些表示与话轮转换以及听众行为（包括注视和反馈信号）之间的关系。我们的结果表明，除了话轮转换之外，注视和反馈信号也与话语指向相关。此外，使用连续指向层级的模型比使用离散标签的模型获得了更好的预测拟合度，这表明话语指向可能表现出分层结构。最后，基于本研究的发现，我们讨论了指向对象检测研究的未来方向。

## 1 引言

识别一句话语指向谁，是涉及多个用户和一个对话系统的多方对话中的基本挑战之一。如下所述，大多数关于指向对象检测的先前工作已将指向推断表述为一个分类问题。在人机交互中，该任务通常被视为一个二元分类问题，判断用户的话语是面向系统还是面向另一个人参与者的。相比之下，在多方人类对话中，它通常被表述为从对应单个参与者或整个群体的标签中选择一个单一的指向对象。此外，在对话系统研究中，指向对象检测主要用于预测话轮转换。

这种传统的表述依赖于一个简化的假设，即每句话语都指向一个单一的离散指向对象，或指向一个预定义的类别，如整个群体。然而，几乎没有理由认为自然发生的对话总是如此简单，话语指向实际上可能更为复杂。在这种表述下，标注者之间的分歧通常仅仅被视为错误。此外，话语指向通常被建模为孤立现象，而考察其与可能相关的听众行为之间的关系，或尝试联合建模这些现象的工作相对较少。

从这个角度出发，本研究分析了多位标注者对多方人类对话的指向标注，并表明话语指向可能并非纯粹是离散现象，而是可能表现出分级结构。我们还引入了*指向层级*作为指向建模的新概念，将指向性表示为一个连续属性。此外，我们表明话语指向不仅与话轮转换相关，还与其他听众行为有关。

本研究的贡献有三点。首先，我们为将指向建模重新定义为连续估计问题而非离散分类问题提供了经验依据。其次，我们提出了一种操作化方法，从分类标注中推断出按参与者区分的连续表示。第三，我们表明这些连续的指向性度量与可观察的听众行为相关，从而支持了它们作为交互结构表示的有效性。

本文结构如下：第2节归纳了指向对象检测的先前研究，并将本研究置于该文献中。第3节描述了数据集和标注方案，并对指向标注中固有的歧义性进行了初步分析。第4节解释了如何推导出指向标签和指向层级，以及如何对话轮转换、听众注视和反馈信号行为进行建模。第5节展示了定量结果和定性分析。第6节以对启示和未来方向的讨论结束全文。局限性在单独一节中讨论。

## 2 相关工作

大多数关于指向对象检测的先前工作已将该任务表述为离散分类问题。早期关于会议对话的研究将指向对象检测视为为对话行为分配离散标签，区分面向个体参与者的话语和面向群体的话语；当指向个体时，标签会指定参与者的ID (Jovanovic et al., 2006 (https://arxiv.org/html/2607.15648#bib.bib1); op den Akker and op den Akker, 2009 (https://arxiv.org/html/2607.15648#bib.bib3))。在基于文本的多方对话研究中，该任务通常被表述为从出现在对话上下文中的候选对话者中选择一个指向对象 (Ouchi and Tsuboi, 2016 (https://arxiv.org/html/2607.15648#bib.bib2); Zhang et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib13); Sato et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib14); Gu et al., 2021 (https://arxiv.org/html/2607.15648#bib.bib16); Zhu et al., 2023 (https://arxiv.org/html/2607.15648#bib.bib17))。相反，在人机交互环境中，标签空间通常是二元的，区分面向系统的话语和面向另一个人参与者的话语 (Baba et al., 2011 (https://arxiv.org/html/2607.15648#bib.bib4); Shriberg et al., 2012 (https://arxiv.org/html/2607.15648#bib.bib5); Tsai et al., 2015 (https://arxiv.org/html/2607.15648#bib.bib10); Nakano et al., 2013 (https://arxiv.org/html/2607.15648#bib.bib8))。

关于预测时机，许多研究在目标话轮被完全观察到之后才进行推断。早期工作将任务视为为对话行为或手动分割的话语分配指向标签 (Jovanovic et al., 2006 (https://arxiv.org/html/2607.15648#bib.bib1))，这种话轮级别的表述在近期研究中仍然常见。例如，Ouchi and Tsuboi (2016 (https://arxiv.org/html/2607.15648#bib.bib2)) 在给定完整上下文和目标话语的情况下联合预测指向对象和回应，而 Penzo et al. (2024 (https://arxiv.org/html/2607.15648#bib.bib18)) 评估了多方对话中最终话轮的指向识别。因此，一种常见范式是在话轮级别进行事后预测，而不是在话语进行过程中进行增量估计。

此外，指向对象检测常被用作话轮转换或回应选择的辅助任务。在人机交互中，它被用来判断系统是否应对某话语做出回应 (Shriberg et al., 2012 (https://arxiv.org/html/2607.15648#bib.bib5); Tsai et al., 2015 (https://arxiv.org/html/2607.15648#bib.bib10))。在基于文本的多方对话中，指向选择通常与回应选择相结合 (Ouchi and Tsuboi, 2016 (https://arxiv.org/html/2607.15648#bib.bib2); Zhang et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib13))，并且 MPC-BERT (Gu et al., 2021 (https://arxiv.org/html/2607.15648#bib.bib16)) 也将指向识别视为多个对话理解任务中的一个组成部分。这样，指向对象检测常被用作话轮转换和回应的中间表示，而不是作为独立的对话行为进行研究。

从方法论的角度来看，该领域经历了逐步演进。早期研究主要依赖统计方法，如使用基于注视、韵律和词汇线索的特征的 SVM 和逻辑回归 (Jovanovic et al., 2006 (https://arxiv.org/html/2607.15648#bib.bib1); Shriberg et al., 2012 (https://arxiv.org/html/2607.15648#bib.bib5); Tsai et al., 2015 (https://arxiv.org/html/2607.15648#bib.bib10))。随后，引入了基于神经网络的方法来建模对话上下文和说话者关系 (Ravuri and Stolcke, 2014 (https://arxiv.org/html/2607.15648#bib.bib9); Ouchi and Tsuboi, 2016 (https://arxiv.org/html/2607.15648#bib.bib2); Zhang et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib13))。后来，提出了结合视觉和上下文信息的多模态深度学习方法 (Akhtiamov et al., 2017 (https://arxiv.org/html/2607.15648#bib.bib11); Le et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib12))。最近，也有工作探索了预训练语言模型 (Gu et al., 2021 (https://arxiv.org/html/2607.15648#bib.bib16)) 以及使用 LLM 和 MLLM 的基于推理的方法 (Zhu et al., 2023 (https://arxiv.org/html/2607.15648#bib.bib17); Penzo et al., 2024 (https://arxiv.org/html/2607.15648#bib.bib18); Inoue et al., 2025 (https://arxiv.org/html/2607.15648#bib.bib19); Mori et al., 2026 (https://arxiv.org/html/2607.15648#bib.bib21))。

随着这些方法的进步，预测性能也在稳步提升。虽然早期研究报告的准确率约为 80% (Jovanovic et al., 2006 (https://arxiv.org/html/2607.15648#bib.bib1))，但最近使用 MLLM 的方法已经取得了显著更高的性能。例如，Mori et al. (2026 (https://arxiv.org/html/2607.15648#bib.bib21)) 报告称，在单一下一个说话者可识别的情况下，Macro-F1 分数超过 0.9。此外，随着性能的提高，最近的研究开始解决额外的挑战，例如多语言设置 (Sato et al., 2018 (https://arxiv.org/html/2607.15648#bib.bib14)) 和噪声条件下的鲁棒性 (Zhu et al., 2023 (https://arxiv.org/html/2607.15648#bib.bib17))。

在本研究中，我们通过分析来自多位标注者的指向标注，以及指向行为、话轮转换、听众注视和反馈信号之间的关系，重新审视这些基本假设。基于这些分析，我们讨论指向对象检测研究的未来方向。

## 3 数据集

### 3.1 语料库描述

参见标注
图 1：Teidan 语料库的一个快照。

在本研究中，我们使用了 Inoue et al. (2025 (https://arxiv.org/html/2607.15648#bib.bib19)) 先前工作中介绍的数据集。该语料库包含同一实验室三人小组之间的日语随意讨论。十二个小组各自就三个话题进行对话，共记录 36 段对话。图 1 (https://arxiv.org/html/2607.15648#S3.F1) 显示了一个记录对话的截图。对话平均时长为 6 分 4 秒，总时长为 3 小时 38 分 27 秒。数据被手动标注了话轮和反馈信号信息。话轮被定义为一个参与者连续说话的片段。相比之下，主要表示倾听或促使另一个参与者继续简短反应性话语被标注为反馈信号，而不是作为独立的话轮处理。这些包括简短的回应，如 `hai`（“是”）、`ee`（“是”）、`un`（“嗯/呃”）和 `fuun`（“我明白了”），对先前话语的简短重复，以及独立的感叹词如 `aa`（“啊”）或 `ee`（“哦”），前提是它们后面没有更具实质内容的话语。例外是，当“hai”作为对问题的回答时，它被视为一个话轮。每段对话的平均话轮数为 86.7，总话轮数为 3,121。在下文中，为方便起见，三位参与者分别称为 A、B 和 C。

### 3.2 指向对象标注

基于 Kadota et al. (2024 (https://arxiv.org/html/2607.15648#bib.bib20))，每个话轮被分配八个指向标签之一。表 1 (https://arxiv.org/html/2607.15648#S3.T1) 总结了本研究中使用的标签集。

表 1：标注中使用的指向标签。

首先，作者对一段对话进行了试点标注。基于此试点，三位标注者对剩余的 35 段对话中的 3,078 个话轮进行了标注。对于每段对话，三位标注者独立进行标注。他们被指示在判断指向对象时使用多模态信息，具体包括明确的称呼语、人称指称、语域选择、对另一参与者先前经验或知识的引用、与先前话语的链接（如表示不同意的标记，例如“但是”）、指向先前话语的指示表达和重复、该话语是否是对先前问题的回应、注视方向，以及指点或其他手势。他们还被告知不要考虑目标话轮之后出现的任何信息。

### 3.3 注视标注

注视标注将对话的每个片段分为三类之一：目标参与者以外的两个参与者（即 A、B 和 C 中的两个），或其他地方 (O)。与指向标注一样，首先由我们实验室的学生对一段对话进行试验性标注，然后对剩余的 35 段对话进行标注。由于技术问题，有六段对话中的某些摄像头在对话结束前停止了工作；对于摄像头停止后的那些间隔，没有对应参与者的注视标注。此外，注视从一个参与者到另一个参与者的移动间隔被分类为 O，只有标注者能够判断注视明确指向该人的间隔才被分配参与者标签。

### 3.4 初步分析

表 2：原始指向标签的计数

参见标注
图 2：标注者指向标签的共现热图。

为了研究指向的歧义性，我们分析了众包工作者为 35 段对话产生的标注。表 2 (https://arxiv.org/html/2607.15648#S3.T2) 展示了每个标签的频率。在针对参与者的标签 A、B 和 C 中，B 出现的频率略低于其他两个，但三者都出现了 1,000 到 2,000 次。最频繁的标签是 E，出现了超过 3,500 次。相比之下，W、N 和 O 相对罕见。这些结果表明，大多数话语被判断为明确指向特定个体或所有参与者。这可能是因为数据包含讨论式的对话，其中许多话语要么质疑或挑战另一参与者的观点，要么向整个群体呈现说话者自己的观点。作为标注者间一致性度量，我们计算了 Fleiss' kappa。对于由三位标注者标注的 3,078 个话轮，一致性为 κ=0.52，表明具有中等一致性。这表明指向标注总体上相当一致，同时仍留有歧义的空间。

接下来，为了检查哪些标签容易出现歧义，图 2 (https://arxiv.org/html/2607.15648#S3.F2) 显示了标签对的共现热图。共现计数计算如下：例如，如果三位标注者将一个