面向法律探究型对话代理的双层次对话策略学习

# 面向法律探究式对话代理的双层次对话策略学习
来源：https://arxiv.org/html/2605.14057
Xubo Lin 乔治城大学 xl524@georgetown\.edu &Zezhi Deng 乔治城大学 zd127@georgetown\.edu &Shihao Wang 乔治城大学 sw1379@georgetown\.edu Grace Hui Yang 乔治城大学 Grace\.yang@georgetown\.edu &Yang Deng 新加坡管理大学 ydeng@smu\.edu\.sg

###### 摘要

现有的大多数对话系统都是用户驱动的，主要设计用于满足用户请求。然而，在许多关键的现实场景中，对话代理必须主动提取信息以实现自身目标，而不仅仅是做出回应。为填补这一空白，我们提出了*探究式对话代理 (ICAs)*，并开发了一个专门针对美国最高法院口头辩论的ICA。我们提出了一种双层次强化学习框架，包含两个协同工作的强化学习智能体，每个智能体都有自己的策略，以协调战略性对话管理和细粒度的话语生成。通过学习何时以及如何提出追问问题，代理能够模拟司法提问模式，并系统地揭示关键信息以实现其法律目标。在美国最高法院数据集上的评估表明，我们的方法在多个指标上优于各种基线。这代表着向更广泛的高风险、特定领域应用迈出的重要第一步。111Git 仓库 (https://github.com/infosenselab/Dual-Hierarchical-Dialogue-Policy-Learning-for-Legal-Inquisitive-Conversational-Agents)

# 面向法律探究式对话代理的双层次对话策略学习

Xubo Lin 乔治城大学 xl524@georgetown\.edu Zezhi Deng 乔治城大学 zd127@georgetown\.edu Shihao Wang 乔治城大学 sw1379@georgetown\.edu

Grace Hui Yang 乔治城大学 Grace\.yang@georgetown\.edu Yang Deng 新加坡管理大学 ydeng@smu\.edu\.sg

## 1 引言

对话式人工智能长期以来专注于用户驱动系统，适用于客户服务或数字助手等任务。当对话是封闭式且用户驱动时，它们表现出色。然而，在诸如法庭法官等场景中，它们并不适用——法官并非被动接收信息；相反，他们会追问、重新框架、挑战，形成一条检验律师叙述、寻找潜在矛盾的探究线索。对话中有不断变化的问题与反驳目标，这种信息寻求的动态性正是我们所说的探究式对话。

许多自称为“任务导向型对话”的文献实际上只涵盖了对话空间的一个片段：即系统与用户共享目标的协作式对话。诸如 MultiWOZ (Budzianowski 等, 2020 (https://arxiv.org/html/2605.14057#bib.bib13))、Schema-Guided Dialogue (Rastogi 等, 2020 (https://arxiv.org/html/2605.14057#bib.bib10))、Taskmaster (Byrne 等, 2019 (https://arxiv.org/html/2605.14057#bib.bib11)) 等数据集，通过将代理塑造为仁慈的助手、其唯一职责是满足用户的明确请求，从而将这一片段规范化。它们精心设计的槽本体、众包模板和简短的对话弧线使其非常适合监督学习，但同时也使其不适用于代理（而非对话者）掌控议程的场景。因此，将这些资源视为任务导向型对话 (TOD) 的全部，夸大了其范围，并使得探究式和协商式对话几乎未被映射——例如，在图1 (https://arxiv.org/html/2605.14057#S1.F1) 中，“第六修正案只保护你的钱直到有判决为止？”这句话是一个任务导向的问题，但不会出现在协作或协商对话中。

探究式对话带来了多重挑战。首先，主动权和相关性是依赖于上下文的：在采访中问“你喜欢哪种汽水？”可能切中要害，也可能无关紧要，具体取决于之前的对话，传统对话代理往往难以捕捉这种细微差别。其次，交互视野很长。最高法院的庭审记录每轮通常超过 5,000 个词元，超出了支撑许多协作式代理的主流编码器-解码器模型的能力范围 (Su 等, 2022 (https://arxiv.org/html/2605.14057#bib.bib12); Shu 等, 2019 (https://arxiv.org/html/2605.14057#bib.bib14))。此外，对话参与者并不共享共同目标，在许多情况下，他们可能正在积极对抗以达成各自的目标。因此，任何参与探究式对话的代理都必须学会在非合作背景下制定长期对话和提问策略。

为应对这些挑战，我们提出了一种双层次强化学习 (RL) 框架，将探究性推理分解到两个紧密耦合的智能体之间。一个评估代理实时评估每位律师的回答，并将这些判断转化为标量奖励，从而塑造下一轮对话，然后一个层次化对话策略代理基于评估代理的输出，逐级生成最多三层级的动作。

参见图注图 1：虽然本文聚焦于美国最高法院听证会背景下的探究式对话，但我们重新思考并提出了一种更广泛的分类方法，将任务导向型对话分为三类：协作式、协商式 (Lewis 等, 2017 (https://arxiv.org/html/2605.14057#bib.bib15)) 和探究式。在先前的工作中，非协作类型的 TOD 仍未得到充分探索。
## 2 相关工作

#### 主动式对话代理。

对话代理 (CAs) 的发展在很大程度上得益于自然语言处理和机器学习的突破。主要方法包括*序列到序列 (Seq2Seq) 建模* Sutskever 等 (2014 (https://arxiv.org/html/2605.14057#bib.bib16))、*预训练语言模型 (PLMs)* Radford 等 (2019 (https://arxiv.org/html/2605.14057#bib.bib47)); Liu 等 (2024 (https://arxiv.org/html/2605.14057#bib.bib48))、*检索辅助文本生成 (RAG)* Gao 等 (2024 (https://arxiv.org/html/2605.14057#bib.bib49)); Izacard 和 Grave (2021 (https://arxiv.org/html/2605.14057#bib.bib50)) 以及*强化学习 (RL)* 方法 Schulman 等 (2017 (https://arxiv.org/html/2605.14057#bib.bib51))。其中，RL 为对话策略提供了一种优化范式，特别是在任务导向型设置下 (Budzianowski 等, 2020 (https://arxiv.org/html/2605.14057#bib.bib13))，基于奖励的学习使代理行为与期望结果对齐。例如，Li 等 (2016b (https://arxiv.org/html/2605.14057#bib.bib52)) 引入了深度 RL 以纳入对话级奖励，而 Zhao 和 Eskenazi (2016 (https://arxiv.org/html/2605.14057#bib.bib53)) 提出了一种端到端系统，同时学习对话状态跟踪和策略。

虽然传统的对话代理通常响应用户发起的请求，但越来越多的研究关注*主动式对话代理* (Liao 等, 2023 (https://arxiv.org/html/2605.14057#bib.bib54))，它们主动*发起话题* (Tang 等, 2019 (https://arxiv.org/html/2605.14057#bib.bib55))、提供*上下文感知推荐* (Zhou 等, 2020 (https://arxiv.org/html/2605.14057#bib.bib56)) 并*引导*用户，而非简单反应 (Deng 等, 2023 (https://arxiv.org/html/2605.14057#bib.bib57))。主动式代理通常利用*强化学习* (Deng 等, 2024 (https://arxiv.org/html/2605.14057#bib.bib58))、*策略规划* (Zhang 等, 2024 (https://arxiv.org/html/2605.14057#bib.bib59)) 或*问题生成* (Guo 等, 2024 (https://arxiv.org/html/2605.14057#bib.bib60)) 来克服纯反应式系统的局限，从而为探索性搜索和决策等任务提供更丰富的支持。ICAs 更进一步，专注于*引导*对话并从用户那里*收集洞察*以实现系统自身的目标。它们超越提供指导或建议，主动*探查*信息，使其特别适用于法律或调查性对话等需要深度事实发现的领域。

#### 法律对话代理。

虽然关于对话代理的研究大多聚焦于开放域或任务导向型上下文，但越来越多的研究探索其在法律领域的应用。例如，Sharma 等 (2021 (https://arxiv.org/html/2605.14057#bib.bib62)) 构建了一个基于检索的法律聊天机器人，用于解答常见法律问题。尽管这些系统提供了有价值的帮助，但它们主要采用反应式、FAQ 风格的方法，为更主动或探究式对话模型留下了空白——我们的工作旨在推动这一领域的发展。

## 3 问题形式化

### 3.1 探究式对话

在本文中，我们研究*探究式对话*问题，其中对话代理主动探查关键信息以实现自身目标，而非仅仅回应用户查询。具体而言，我们将这一挑战置于最高法院司法对话的背景下。

探究式对话与日常随意对话存在若干关键区别。

对话控制：在典型对话中，用户发起查询并驱动话题。在司法对话中，法官发起每一轮提问并控制讨论方向。

目的：随意对话通常服务于社交或信息提供目的，而在司法提问中，每个问题旨在澄清法律不确定性、检验一致性或暴露逻辑缺陷。

策略：法官提问是深思熟虑且具有策略性的，采用测试假设、挑战前提和验证教义一致性等技术。

为了在探究行为中建模这些区别，我们提出了探究式对话代理 (ICA)，它使用双智能体层次强化学习框架来模拟这些提问模式。

### 3.2 对话形式化

我们将法官-律师交互建模为马尔可夫决策过程 (MDP)，由元组 M=\(S,A,R,γ\)M=\(S,A,R,\\gamma\) 定义，其中 SS 是对话状态空间，AA 是动作空间，RR 是奖励函数，γ\\gamma 是折扣因子。每轮对话 tt 以法官话语 ujtu\_\{j\}^\{t\} 开始，随后是律师回应 uatu\_\{a\}^\{t\}，构成交互对 \(ujt,uat\)\(u\_\{j\}^\{t\},u\_\{a\}^\{t\}\)。状态 st∈Ss^\{t\}\\in S 编码截至第 tt 轮的对话上下文。

在我们的形式化中，法官话语 ujtu\_\{j\}^\{t\} 被视为动作 ata^\{t\}，在观察到 uat\+1u\_\{a\}^\{t\+1\} 后环境转换到新状态 st\+1s^\{t\+1\}，并产生标量奖励 rt=R\(st,at\)r^\{t\}=R\(s^\{t\},a^\{t\}\)。

评估信号：在探究式对话中，代理以自身的信息寻求目标运作。它们不是等待用户输入来引导交流，而是主动评估每个回应，以确定它是否推进了调查目标。为呼应探究式对话的这一特征，我们在每一轮引入评估信号 ptp^\{t\}。它编码在对话状态 sts^\{t\} 下法官对律师先前回应（例如，回避、不完整、令人满意）的判断。在我们的数据集中，每一轮 tt 的法官评估可以从两轮的话语元组中推断出来：

pt=f\(ujt−1,uat,ujt\)。p^\{t\}=f\\Bigl\(u\_\{j\}^\{t\-1\},\\,u\_\{a\}^\{t\},\\,u\_\{j\}^\{t\}\\Bigr\)。       (1)
例如，如果法官在连续两轮中发出几乎相同的话语，这通常表明对律师的先前回应不满意。因此，我们将标准转换元组扩展为 D∼\(st,pt,at,rt,st\+1\)\\mathcal\{D\}\\sim\(s^\{t\},p^\{t\},a^\{t\},r^\{t\},s^\{t\+1\}\)。评估代理将 ptp^\{t\} 视为在状态 sts^\{t\} 中选择的动作，而对话代理则在增强状态表示 saugt=concat\(st,pt\)s\_\{\\text\{aug\}\}^\{t\}=\\text\{concat\}\(s^\{t\},p^\{t\}\) 上运作。这种设计使对话代理能够基于自身对该历史的内涵评估来调节其下一个动作。

虽然许多对话系统将话语生成视为一个动作空间巨大的开放式自然语言生成 (NLG) 任务 (Zhao 和 Eskenazi, 2016 (https://arxiv.org/html/2605.14057#bib.bib53); Sharma 等, 2017 (https://arxiv.org/html/2605.14057#bib.bib78); Wang 等, 2022 (https://arxiv.org/html/2605.14057#bib.bib79))，但特定领域的代理通常可以通过在一个有限的*对话行为*集合上运作来降低复杂度 (Peng 等, 2018 (https://arxiv.org/html/2605.14057#bib.bib80); Su 等, 2018 (https://arxiv.org/html/2605.14057#bib.bib81))。例如，在最高法院领域，法官经常执行重复但不同的高层动作（例如，提问、提出假设或做出声明 (Cichowicz, 2019 (https://arxiv.org/html/2605.14057#bib.bib87))），这适合更结构化的形式。在他们选择了高层意图（如提问、假设或声明）之后，可能会将其细化为更具体的子类型，例如探查性或澄清性问题，然后才产生实际话语。

受此启发，我们采用了*层次化动作空间*，将策略决策（即*接下来要采取哪个对话行为*）与底层的表层文本实现（即*如何将该行为用语言表达出来*）相分离。我们的方法将法官的交互离散化为三级分类法（参见附录中的表3 (https://arxiv.org/html/2605.14057#A1.T3)），同时捕捉顶层行为（如“问题”）及其子类型（例如，澄清性探查 vs. 挑战论点）。

参见图注图 2：所提出的双层次探究式对话代理的系统架构。
### 3.3 奖励定义

与主要评估代理自身话语的传统对话奖励不同，我们的探究式场景聚焦于*法官话语*如何有效地从*律师的后续回应*中引出信息。在本工作中，每个法官话语 uju\_\{\\mathrm\{j\}\}^\{t\} 获得由以下成分组成的奖励。

(1) 目标相关信息的征求。探究式对话中代理的一个目标是收集与自身目标一致的有用且相关的信息。因此，我们引入了一个目标相关性奖励，以鼓励代理提出与目标相关的探查性问题。为了衡量法官的话语 uju\_\{\\mathrm\{j\}\}^\{t\} 如何有效地迫使律师的回应 uat\+1u\_\{\\mathrm\{a\}\}^\{t\+1\} 包含法律意义上的重要信息，我们测量律师回应与案件结论 CC 的相关性。使用 Llama-3-8B35 (https://arxiv.org/html/2605.14057#bib.bib95) 作为语义相似度评估器，我们计算律师回应 uat\+1u\_\{\\mathrm\{a\}\}^\{t\+1\} 与每个子结论 C\[i\]C\[i\] 之间的最大相似度，得分上限为 5。形式化表述为：

Rrelt\+1\(st,ujt\)=max⁡\(sim\(C\[i\],uat\+1\)\)，R\_\{\\mathrm\{rel\}\}^\{t\+1\}\(s^\{t\},u\_\{\\mathrm\{j\}\}^\{t\}\)\\;=\\;\\max\\Bigl\(\\text\{sim\}\\bigl\(C\[i\],\\,u\_\{\\mathrm\{a\}\}^\{t\+1\}\\bigr\)\\Bigr\)，      (2)其中 C\[i\]C\[i\] 表示案件结论的各子结论。该奖励鼓励法官提出探究性话语，引导对话走向法律相关的见解。

(2) 新信息的征求。ICA 的一个关键目标不仅是提问，更是推动对话揭示尚未浮出水面的信息。为了捕捉这种