SKG-Eval：基于增量语义知识图谱的多轮对话状态化评估

# SKG-Eval: 基于增量语义知识图谱的多轮对话状态化评估

来源：https://arxiv.org/html/2605.16650

Avijit Shil¹  Suman Samui²  
¹ 印度西孟加拉邦毛拉纳·阿布·卡勒姆·阿扎德理工大学  
² 印度西孟加拉邦杜尔加布尔国立理工学院  
[email protected], [email protected]  

###### 摘要

评估多轮对话系统面临根本性挑战：每一轮回复的质量不仅取决于当前的即时提示，还依赖于不断增长的上下文——模型隐含地受制于先前做出的承诺、提及的实体和陈述。现有的自动评估器，包括LLM-as-a-judge协议和基于嵌入的度量，大多基于扁平化或逐轮隔离的表征，因此无法可靠检测跨轮失败模式，如矛盾、主题漂移和实体不一致。为了解决这个问题，我们提出SKG-Eval，一个准确定性和可解释的评估框架，将对话建模为跨轮演进的*语义知识图谱*(SKG)，包含实体、关系和承诺。在每一轮，通过结构化三元组提取增量更新图谱，并计算三个互补信号：(i) 局部相关性，衡量与当前提示和可选参考的对齐程度；(ii) 历史一致性，通过基于图谱锚定和嵌入的信号量化新引入信息如何与先前的对话状态连接；以及(iii) 逻辑连贯性，通过一个几何矛盾检测引擎评估，该引擎无需依赖NLI模型或LLM评判即可检测跨轮冲突。这些信号通过一种机制自适应融合机制融合，并通过基于最近加权的趋势分析聚合成长度不变的会话分数。在多个基准上，SKG-Eval与人类判断的相关性更高，并且显著提高了对长程不一致性的召回率，尤其是在现有评估器性能下降的长对话中。此外，SKG-Eval生成显式的矛盾证书，并在给定固定输入时产生确定性分数，从而实现可重复和可审计的评估。我们的结果表明，对于长程对话系统，通过结构化表示进行外部化状态追踪是LLM评估器中隐式推理的一种有原则且可扩展的替代方案。

## 1 引言

大型语言模型(LLM)越来越多地被部署为多轮对话代理，其应用领域中，一个矛盾的前期陈述、一个被遗忘的约束或一个悄然转移的话题，其成本从用户挫折到实质性损害不等。然而，自动评估对话的主流范式仍然依赖*逐轮隔离*信号——单个回复根据单个提示和（有时）一个参考进行评分，而对话历史被压缩成一个前缀，期望评估器去阅读（Lin和Chen，2023（https://arxiv.org/html/2605.16650#bib.bib7）；Zhang等人，2024（https://arxiv.org/html/2605.16650#bib.bib8）；Mendonça等人，2024（https://arxiv.org/html/2605.16650#bib.bib9））。这种范式存在已知且日益明显的失败模式。一旦对话超过几轮，模型的能力就会显著下降（Kwan等人，2024（https://arxiv.org/html/2605.16650#bib.bib2）；Laban等人，2025（https://arxiv.org/html/2605.16650#bib.bib12））；它们在早期轮次做出的假设后来又被自己推翻（Li等人，2026a（https://arxiv.org/html/2605.16650#bib.bib13））；而在短上下文中训练或提示的前沿评判器无法可靠地在会话层面发现这些错误（Sirdeshmukh等人，2025（https://arxiv.org/html/2605.16650#bib.bib4））。根本原因在于对话质量本质上是*有状态的和时间性的*。一个看起来局部流畅且切题的轮次可能仍然是错误的，因为两轮之前，助手声称了相反的内容；或者因为它逐渐偏离了用户的真实问题；或者因为它用一个新值替换了一个已经建立的事实。捕获这些失败模式要求评估器自身维护一个对话承诺的结构化表征，并显式地推理新轮次与该承诺存储之间的关系。

LLM-as-a-judge只能部分缓解这一问题：它将状态化推理的负担推给一个黑盒评判器，而该评判器在长历史上的注意力模式本身不可靠，其裁决是非确定性的，并且在 paraphrase 和数值冲突上的矛盾召回率很差（Ike等人，2025（https://arxiv.org/html/2605.16650#bib.bib19））。我们主张一种替代方案：显式、外部化的状态。我们提出SKG-Eval，一个评估框架，它从对话展开的过程中增量地构建一个带类型和时间戳的*语义知识图谱*，并根据这个图谱（而非扁平的前缀）对每个新轮次进行评分。在每一轮，提取三个信号：一个*局部相关性*分数，将回复与提示和（如果可用）参考进行三角测量；一个*历史一致性*分数，衡量新轮次的实体和事实如何连接到现有图谱；以及一个*逻辑连贯性*分数，由一个纯几何矛盾检测引擎产生，该引擎通过否定翻转、反义词对、数值不匹配以及关系/对象联合分歧，将当前轮次的边与其历史边进行比较。这些信号在机制自适应加权下融合，并通过带长度自适应趋势系数的近期加权回归跨会话进行聚合。

总结我们的贡献如下：

- •**通过显式语义记忆进行状态化对话评估。** 我们将多轮对话评估形式化为对一个演进的语义知识图谱(SKG)的推理，该图谱显式地表示跨轮的实体、关系和对话承诺。通过这种外部化的语义状态，跨轮依赖和长程对话一致性可以以结构化的方式进行分析。
- •**具有修订感知的几何矛盾检测引擎。** 提出了一种面向图谱结构化语义表示的几何驱动的矛盾检测框架。该引擎通过关系和对象的结构化比较来检测不一致性，包括否定反转、反义关系、数值不匹配以及关系一致的对象分歧。进一步纳入修订感知过滤，以避免惩罚合法的对话更新。因此，无需在评分过程中使用NLI模型或LLM评判，即可生成可解释的矛盾证书。
- •**基于图谱锚定的历史一致性建模。** 我们引入了一种基于图谱锚定的一致性度量，用于评估新引入的信息是否在语义上与先前的对话状态保持连接。此外，还设计了一种互补的会话锚定机制，以捕捉跨轮更高层次的主题连续性。
- •**通过多信号语义对齐实现鲁棒的局部相关性。** 开发了一种三角测量相关性度量，同时考虑提示对齐和可选参考覆盖，并结合了针对短回复或无参考回复的自适应回退机制。这种设计提高了相对于单信号语义相似性度量的鲁棒性。
- •**机制自适应融合与会话级聚合。** 我们开发了一种机制感知融合策略，根据回复特征动态加权相关性、一致性和逻辑连贯性。在会话层面，引入了一种基于近期加权回归的聚合机制，以捕捉长对话中的质量水平和时间退化趋势。
- •**可解释和准确定性评估。** SKG-Eval通过每轮分数、语义锚点和矛盾证书提供显式的审计追踪。经验上，实现了与人类判断的强对齐，同时在扩展对话会话中保持了对长程对话不一致性和语义漂移的改进敏感性。

本文的其余部分组织如下。第2节（https://arxiv.org/html/2605.16650#S2）综述了多轮评估、LLM-as-judge、对话连贯性和知识图谱增强评估，明确了SKG-Eval所要填补的精确空白。第3节（https://arxiv.org/html/2605.16650#S3）形式化了问题并陈述了期望。第4节（https://arxiv.org/html/2605.16650#S4）逐步开发了所提出的框架，包括形式定义、命题、算法描述和复杂度分析。第5节（https://arxiv.org/html/2605.16650#S5）报告了实验结果。

## 2 相关工作

#### 多轮对话基准。

最初的一系列基准测试已经证明，单轮评估技术会夸大对话能力。MT-Bench（Zheng等人，2023（https://arxiv.org/html/2605.16650#bib.bib1））提出了两轮开放式提示，使用GPT-4作为评判；然而，其有限的时间范围限制了检测深远失败案例的能力。MT-Eval（Kwan等人，2024（https://arxiv.org/html/2605.16650#bib.bib2））在此基础上进行了扩展，考虑了四种交互类型——回忆、扩展、细化和跟进——并发现多轮性能显著下降，与单轮估计无关，指出相关信息距离和错误传播是关键原因。MINT（Wang等人，2024（https://arxiv.org/html/2605.16650#bib.bib3））评估了多轮迭代中的工具使用和反馈处理；MultiChallenge（Sirdeshmukh等人，2025（https://arxiv.org/html/2605.16650#bib.bib4））增加了问题复杂度，使得高级模型在涉及指令遵循、上下文分配和上下文推理的多轮任务中准确率无法超过50%。MT-dyna（Gao等人，2026（https://arxiv.org/html/2605.16650#bib.bib5））提出了基于对话历史和意图的动态提问技术。多轮领域特定测试包括医疗咨询评估器（Liao等人，2023（https://arxiv.org/html/2605.16650#bib.bib17））和心理对话基准集如PsycoLLM（Hu等人，2025（https://arxiv.org/html/2605.16650#bib.bib18））。大规模模拟测试（Laban等人，2025（https://arxiv.org/html/2605.16650#bib.bib12））验证了LLM一旦做出初始错误假设就会“迷失”；Li等人（Li等人，2026a（https://arxiv.org/html/2605.16650#bib.bib13））表明，即使推理模型在面对多轮挑战时也会忽视正确答案。这些基准帮助识别了失败案例，而SKG-Eval旨在测量它们。

#### 无参考和LLM-as-judge评估。

第二条研究路线用基于神经网络的免参考评估器取代了n-gram指标。LLM-Eval（Lin和Chen，2023（https://arxiv.org/html/2605.16650#bib.bib7））将多个维度统一到一个提示中；Zhang等人（2024（https://arxiv.org/html/2605.16650#bib.bib8））分析了30个LLM在12个元评估数据集上的表现，揭示了与人类判断有希望的相关性，也暴露了在对抗性扰动下的显著脆弱性。ECoh（Mendonça等人，2024（https://arxiv.org/html/2605.16650#bib.bib9））将GPT-3.5蒸馏成一个小的开放评估器，用于五种语言在轮级连贯性上的评估。BotChat（Duan等人，2024（https://arxiv.org/html/2605.16650#bib.bib6））使用LLM评判评估成对对话生成质量。Ike等人（2025（https://arxiv.org/html/2605.16650#bib.bib19））将GPT-4o与人类评判在七个KPI上进行比较，报告称GPT-4o处理事实性和常识性很好，但在冗余和自我矛盾上表现不佳——这正是SKG-Eval瞄准的跨轮失败。LLM Comparator（Kahng等人，2025（https://arxiv.org/html/2605.16650#bib.bib11））解决了并排评判器输出的可解释性问题，但没有改变底层的评判机制。在所有这些文献中，评估器的状态隐含在模型的注意力中；评判者是否真的*追踪了*先前的轮次是无法证伪的。

#### 对话与推理评估中的知识图谱。

基于知识图谱的对话系统是一个长期的研究方向，但将它们作为自由形式多轮LLM对话的*评估器*使用则远未成熟。最近的基准在（Li等人，2026b（https://arxiv.org/html/2605.16650#bib.bib14）；Guan等人，2026（https://arxiv.org/html/2605.16650#bib.bib15））中有综述。Yao等人（2026（https://arxiv.org/html/2605.16650#bib.bib16））量化了*基准*质量（难度、可分离性、多样性），但没有解决每个对话的质量。据我们所知，没有先前工作将增量三元组提取、时间戳图谱状态、几何矛盾检测和会话级时间聚合集成到一个统一的评估框架中。

#### 研究空白。

在 (a) 基准（它们揭示失败模式但不进行机制性测量）、(b) LLM-as-judge协议（它们信任评判者的隐式状态并继承其非确定性和弱的矛盾召回率）以及 (c) 基于参考的度量（它们评分隔离的轮次）之间，没有一个评估器能够 (i) 维持对话事实承诺的显式、带时间戳的状态，(ii) 在没有LLM评判作为内循环的情况下确定性和可解释地检测跨轮矛盾，以及 (iii) 以长度不变的方式将每轮质量聚合为会话级指标。SKG-Eval正是为填补这一空白而设计的。

## 3 问题形式化

#### 对话与轮次结构。

对话是一个轮次序列 D = (τ₁, τ₂, ..., τ_T)，其中每个轮次 τ_t = (q_t, r_t, r*_t) 包含一个用户提示 q_t、一个由被评估系统生成的助手回复 r_t，以及一个可选的参考回复 r*_t（仅在评分局部相关性时使用）。我们用 D_{1:t} 表示包含第 t 轮在内的对话前缀。

#### 评估作为顺序决策问题。

自动评估器的目标是，在每轮 t 产生一个质量分数 Q_t ∈ [0,1] 以及一个会话级摘要 S(D) ∈ [0,1]。我们要求：
- •**因果性。** Q_t 仅依赖于 D_{1:t}。评估器不得查阅未来轮次。
- •**状态性。** Q_t 依赖于整个前缀，而不仅仅是 τ_t。具体来说，评估器必须能够检测跨轮失败，即 r_t 单独看起来可接受，但 (r_1, ..., r_t) 整体却不可接受的情况。
- •**确定性。** 给定相同的对话前缀和相同的模型参数（嵌入模型、提取器），Q_t 必须是可复现的。
- •**长度不变性。** 会话级摘要 S(D) 不应仅因会话长度而被人为抬高或压低。
- •**可解释性。** 对于任何低分，评估器应暴露结构原因（哪个实体、哪轮在先、哪个矛盾类别）。

#### 失败模式。

我们考虑六种跨轮对话失败模式：
- •(F1) 直接矛盾：回复与先前为同一主语或属性断言的事实相冲突。
- •(F2) 数值/值替换：为先前的主语-谓语对被赋予了一个不同的数值或分类值。
- •(F3) 反义翻转：先前断言的关系通过反义变换被反转（例如“增加” vs “减少”）。
- •(F4) 主题漂移：新实体或