TRACER：面向任务型对话的早期失败检测

# TRACER：面向任务型对话的早期故障检测
来源：https://arxiv.org/html/2607.03974
Anthony Rios 德克萨斯大学圣安东尼奥分校 \{erfan\.nourbakhsh, anthony\.rios\}@utsa\.edu

###### 摘要

任务型对话系统通常在最终故障变得明显之前就已出现错误，但大多数评估仅在对话出错后才测量故障。我们提出 TRACER，一种用于任务型对话早期故障检测的方法。TRACER 通过将信念状态变化的简单轨迹信号与演化中的对话状态文本表示相结合，从部分对话中预测完整对话最终是否会失败。我们在 oracle 和生成的信念状态设置下评估该方法，并测试当仅可见对话的 25%、50%、75% 或 100% 时其表现如何。在这些设置下，TRACER 在对话结束前很久就检测到有用的故障信号，并且优于启发式、经典和单流基线。这些结果表明，早期故障检测可以在交互完全崩溃之前为对话系统提供实用的警告信号。源代码可在此处找到：https://github.com/erfan-nourbakhsh/TRACER。

![[Uncaptioned image]](https://arxiv.org/html/2607.03974v1/figures/logo.png)

TRACER: Early Failure Detection for Task\-Oriented Dialogue
Erfan Nourbakhsh, Rocky Slavin, Ke Yang, and Anthony Rios
The University of Texas at San Antonio
\{erfan\.nourbakhsh, anthony\.rios\}@utsa\.edu

Refer to caption

图 1：任务概览。示例展示了对话崩溃的过程。

## 1 引言

任务型对话系统（TOD）旨在帮助用户完成具体目标，例如预订旅行、查找餐厅、处理客服查询，并且它们驱动着日益广泛的商业应用（Young et al., 2013 (https://arxiv.org/html/2607.03974#bib.bib26)；Wen et al., 2017 (https://arxiv.org/html/2607.03974#bib.bib23)；Qin et al., 2023 (https://arxiv.org/html/2607.03974#bib.bib18)）。随着这些系统在要求越来越高的环境中部署，它们可靠地完成用户目标的能力已成为超越基准分数的实际工程需求（Walker et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib22)；Peng et al., 2021 (https://arxiv.org/html/2607.03974#bib.bib17)）。诸如 MultiWOZ（Budzianowski et al., 2018 (https://arxiv.org/html/2607.03974#bib.bib2)）、Schema-Guided Dialogue (SGD) 数据集（Rastogi et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib20)）和 ABCD（Chen et al., 2021 (https://arxiv.org/html/2607.03974#bib.bib5)）等大规模基准推动了对话状态跟踪（DST）（Henderson et al., 2014 (https://arxiv.org/html/2607.03974#bib.bib7)；Wu et al., 2019 (https://arxiv.org/html/2607.03974#bib.bib25), 2020 (https://arxiv.org/html/2607.03974#bib.bib24)）、端到端神经响应生成（Hosseini-Asl et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib9)；Lei et al., 2018 (https://arxiv.org/html/2607.03974#bib.bib11)）以及更近期的基于 LLM 的对话代理（Hudeček and Dusek, 2023 (https://arxiv.org/html/2607.03974#bib.bib10)）的快速发展。然而，尽管取得了这些进展，占主导地位的评估范式衡量的是“结果”而非“轨迹”：最终状态是否正确、最终响应是否恰当、或整个任务是否成功。对于实际部署而言，这往往为时已晚。如图 1 (https://arxiv.org/html/2607.03974#S0.F1) 所示，TOD 中的许多故障并非表现为单一突然的错误；它们通过槽位值不稳定、未解决的矛盾、缺失约束以及任务焦点丢失而“逐渐”出现。等到最终结果被衡量时，对话可能已经偏离得太远，以至于轻量级干预也无法奏效。

已有几项研究涉及相关但不同的问题。PARADISE（Walker et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib22)）确立了任务成功率不能充分说明对话质量，而崩溃检测（Higashinaka et al., 2016 (https://arxiv.org/html/2607.03974#bib.bib8)）和 TD-EVAL（Acikgoz et al., 2025 (https://arxiv.org/html/2607.03974#bib.bib1)）则针对单轮次质量或已完成对话的事后分析。在开放领域对话中，Chang and Danescu-Niculescu-Mizil (2019 (https://arxiv.org/html/2607.03974#bib.bib4)) 表明，基于增长上下文的序列模型可以在崩溃之前预测出轨，从而确立了部分上下文预测是可行且原则性的。澄清与修复（Carletta, 1992 (https://arxiv.org/html/2607.03974#bib.bib3)；Maier et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib14)；Ngo et al., 2024 (https://arxiv.org/html/2607.03974#bib.bib16)）、深度强化学习（Li et al., 2016 (https://arxiv.org/html/2607.03974#bib.bib12)）、任务预训练（Wu et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib24)）以及统一生成模型（Hosseini-Asl et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib9)）各自提升了对话质量或策略，但均未定义针对轨迹级故障的干预策略。尽管取得了这些进展，仍存在一个关键缺口：**缺乏一个原则性框架，能够从部分任务型对话上下文中预测即将发生的故障，并将这些预测转化为触发的恢复决策**。

崩溃检测（Higashinaka et al., 2016 (https://arxiv.org/html/2607.03974#bib.bib8)）预测目标系统话语（给定其前序对话上下文）是否会导致对话崩溃。它并不从部分对话前缀预测最终任务失败，也不基于故障分数定义干预策略；事后评估器（Walker et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib22)；Acikgoz et al., 2025 (https://arxiv.org/html/2607.03974#bib.bib1)）分析已完成对话；出轨预测（Chang and Danescu-Niculescu-Mizil, 2019 (https://arxiv.org/html/2607.03974#bib.bib4)）依赖于社会信号而非信念状态演化（例如，用户是否扮演网络喷子）；而基于 LLM 的代理（Hudeček and Dusek, 2023 (https://arxiv.org/html/2607.03974#bib.bib10)）既不建模故障轨迹，也不定义阈值化的干预策略。

我们提出一个双流框架来解决这一缺口，它结合了信念状态演化的轨迹级信号与序列化的信念状态文本，以从部分上下文中预测即将发生的对话故障。开发集调优的阈值将故障分数转换为干预决策，从而能够对预警时机和恢复质量进行原则性研究。本文做出三项贡献：
(1) 我们将任务型对话故障预测形式化为一个**部分对话预测**问题。
(2) 我们提出 TRACER，一个双流模型，它在对话结束前预测任务型对话是否可能失败。它结合了来自对话状态变化的轨迹特征与序列化的信念状态文本。
(3) 我们在多个任务型对话基准上评估 TRACER。结果表明，有用的故障信号从仅 25% 的对话中即可出现，并且 TRACER 在早期故障预测上优于启发式、经典和单流基线。

Refer to caption

图 2：TRACER 概览。部分对话由信念状态文本流和时间轨迹流编码。文本流使用 RoBERTa 编码序列化的信念状态，而轨迹流建模轮次级别的对话状态动态。它们的表示被融合以预测故障风险，并决定是否触发恢复。

## 2 相关工作

#### TOD 系统、DST 与预训练编码器。
MultiWOZ（Budzianowski et al., 2018 (https://arxiv.org/html/2607.03974#bib.bib2)）、SGD（Rastogi et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib20)）和 ABCD（Chen et al., 2021 (https://arxiv.org/html/2607.03974#bib.bib5)）为状态跟踪、响应生成和任务完成确立了多领域基准。DST 的进展由跨领域泛化（Wu et al., 2019 (https://arxiv.org/html/2607.03974#bib.bib25)）、任务特定预训练（Wu et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib24)）和序列到序列形式（Hosseini-Asl et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib9)）推动，端到端综述（Qin et al., 2023 (https://arxiv.org/html/2607.03974#bib.bib18)）记录了向基于 LLM 的代理的转变（Peng et al., 2021 (https://arxiv.org/html/2607.03974#bib.bib17)；Hudeček and Dusek, 2023 (https://arxiv.org/html/2607.03974#bib.bib10)）。BERT（Devlin et al., 2019 (https://arxiv.org/html/2607.03974#bib.bib6)）和 RoBERTa（Liu et al., 2019 (https://arxiv.org/html/2607.03974#bib.bib13)）支撑了强大的对话编码器；TOD-BERT（Wu et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib24)）通过对话特定目标对其进行了扩展。TRACER 将信念状态作为**输入**，使用 RoBERTa 编码其演化内容，同时轨迹流捕捉仅凭文本无法获得的时间动态。

#### 故障检测、预测与修复。
PARADISE（Walker et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib22)）表明对话质量不能简化为单一的对话结束标签；对话崩溃检测挑战（Higashinaka et al., 2016 (https://arxiv.org/html/2607.03974#bib.bib8)）将轮次级崩溃检测操作化；TD-EVAL（Acikgoz et al., 2025 (https://arxiv.org/html/2607.03974#bib.bib1)）表明多粒度分析能够揭露聚合指标遗漏的错误。Chang and Danescu-Niculescu-Mizil (2019 (https://arxiv.org/html/2607.03974#bib.bib4)) 表明，基于增长上下文的序列模型可以在崩溃之前预测对话出轨，从而确立了部分上下文预测作为一个原则性框架。TRACER 通过将预测信号植根于信念状态演化（而非社会线索）并耦合预测与阈值化的干预策略，将其适配到 TOD。在修复方面，澄清与修复是经典的连贯性机制（Carletta, 1992 (https://arxiv.org/html/2607.03974#bib.bib3)；Maier et al., 1997 (https://arxiv.org/html/2607.03974#bib.bib14)）；McRoy and Hirst (1995 (https://arxiv.org/html/2607.03974#bib.bib15)) 表明，对不匹配的言语行为进行溯因推理有助于识别/修复任务导向设置中的问题，这是对失败的早期计算处理；近期工作分析了前兆线索（Ngo et al., 2024 (https://arxiv.org/html/2607.03974#bib.bib16)）；我们在此基础上，探究自动化预测器能否提供可靠的触发信号，并将基于模板的方法与微调的 T5 生成器（Raffel et al., 2020 (https://arxiv.org/html/2607.03974#bib.bib19)）进行比较。

## 3 方法论

图 1 (https://arxiv.org/html/2607.03974#S0.F1) 展示了 TRACER 的基本思想。在许多任务型对话中，故障并非来自单个糟糕的轮次。相反，对话通过状态不稳定、矛盾、缺失约束或领域混淆逐渐偏离轨道。我们的目标是及早检测这种上升的故障风险，在最终崩溃变得明显之前，以便系统能够决定是否干预。因此，我们将该问题形式化为**部分对话预测**：仅根据到目前为止观察到的对话，模型预测完整对话最终是否会失败。

我们将任务型对话故障预测形式化为一个**基于部分对话的预测**问题。设一个对话为 \(D = (u_1, s_1, \ldots, u_T, s_T)\)，其中 \(u_t\) 和 \(s_t\) 分别表示轮次 \(t\) 的用户和系统话语，并设 \(y \in \{0, 1\}\) 表示最终对话结果，\(y=1\) 表示最终失败，\(y=0\) 表示成功。我们不仅在整个对话上评估，还为每一个可见的部分对话 \(D_{\leq t}\) 构建一个有监督示例，其中模型观察到轮次 \(1:t\) 并预测**完整**对话最终是否会失败。这意味着每个对话贡献多个训练和测试实例，每个部分对话一个实例，而来自同一对话的所有实例共享相同的最终标签。形式上，令 \(\mathcal{D}\) 为完整对话集合，\(T_i\) 为对话 \(i\) 的长度。部分对话数据集为：
\[
\mathcal{D}_{\text{partial}} = \bigl\{ (D_{\leq t}, y_i) : i \in \mathcal{D}, t \in \{1, \ldots, T_i\} \bigr\}
\]
其中，如果对话 \(i\) 失败，则 \(y_i=1\)；如果成功，则 \(y_i=0\)。长度为 \(T_i\) 的单个对话贡献 \(T_i\) 个有监督示例，它们共享标签 \(y_i\)。

TRACER 模型学习一个评分函数 \(f_\theta: D_{\leq t} \mapsto \hat{p}_{i,t} \in [0, 1]\)，一个阈值 \(\tau\) 将连续分数转换为干预决策：当 \(\hat{p}_{i,t} > \tau\) 时触发恢复。这种设置与标准轮次分类有两个不同之处。首先，标签是关于未来的。目标不是判断当前轮次是否有问题，而是判断对话是否在走向失败。其次，预测旨在支持干预。要在实践中发挥作用，模型的分数必须转化为关于何时行动的决定。因此，我们的方法包括一个故障预测器和一个基于阈值的干预策略。

图 2 (https://arxiv.org/html/2607.03974#S1.F2) 显示了整体流程。部分对话通过轨迹流和信念文本流编码。这些表示被结合以预测故障分数，当该分数超过在开发集上调优的阈值时，触发恢复动作。

### 3.1 部分对话表示

每个部分对话使用对话状态的两个互补视角表示，对应于图 2 (https://arxiv.org/html/2607.03974#S1.F2) 中显示的两个输入流。

#### 轨迹特征。
如图 2 的“时间轨迹动态”流所示，对于每个轮次，我们计算一个 5 维轨迹向量，该向量总结了对话状态到该轮次为止的演化情况：(1) **震荡分数**，即对话历史中值反复变化的槽位数量；(2) **覆盖率**，当前活跃领域中已填充的必要槽位比例；(3) **冲突计数**，检测到的用户输入与当前对话状态之间矛盾的累积次数；(4) **填充速度**，新槽位信息被填充的短程速率；(5) **领域切换**，截至目前已访问的不同领域数量。一个**槽位**是系统用来记住用户关心的某个细节的东西，例如餐厅的食物类型、价格范围或位置。例如，在“找一个便宜的意大利餐厅，在市中心”中，槽位有：价格 = 便宜，食物 = 意大利菜，区域 = 市中心。这些都是对话中提到的事物。这些特征对每个部分对话增量计算，产生一个轮次级向量的序列。这种序列视图很重要，因为许多任务故障是通过不稳定轨迹出现的，而非通过任何单个孤立的错误。我们形式化地定义每个特征。

设 \(b_t: \mathcal{S} \to \mathcal{V} \cup \{\emptyset\}\) 为轮次 \(t\) 的累积信念状态，其中 \(\mathcal{S}\) 是领域-槽位对的集合，\(\mathcal{V}\) 是值词汇表。设 \(d_t\) 为活跃领域，\(|b_t|\) 为已填充的槽位数量。