ProMediConv：法律争议调解中主动对话代理的基准测试

# 基准测试法律纠纷调解中的主动对话智能体  
来源：https://arxiv.org/html/2609.11101  
魏泽生††[注：工作于访问SMU期间完成]。李梦帆  
单位：新加坡管理大学  
刘文浩  
单位：中国科学技术大学  
张逸鑫  
单位：合肥综合性国家科学中心人工智能研究院  
{zswei, wenhaoliu}@mail.ustc.edu.cn, [email protected]  
{zhyx12, zlwang}@ustc.edu.cn, [email protected]  
王自雷††[注：通讯作者]  
单位：中国科学技术大学  
邓阳  
单位：新加坡管理大学  

###### 摘要  
纠纷调解对于维护社会和谐与韧性至关重要，但培养熟练的调解员既昂贵又耗时。现有基于大语言模型的调解研究仍受限于不切实际的任务设定、低保真度数据集以及掩盖逐轮动态的粗糙评估指标。为弥补这些差距，我们提出了ProMediConv，一个新颖的基准测试框架，将调解建模为主动的、多阶段的、涉及各方的对话过程，融合了11种调解策略和四种当事人行为模式状态。利用972个真实世界的完整案例，我们构建了一个具有话语级策略和行为模式状态标注的高保真调解数据集。此外，为更好地评估智能体的影响，我们提出了MAD，一个细粒度的度量指标，用于捕捉对话过程中行为模式的变化。利用该框架，我们通过评估多种模型以及我们定制的基线ProMediAgent，建立了一个全面的基准。大量的实证分析揭示了关键行为现象，并凸显了当前模型在动态、多方调解中面临的持续挑战。最终，ProMediConv为推进人工智能辅助冲突解决提供了严格的基础和重要的量化标准。我们的数据集和代码库可在https://github.com/ZsWei66/ProMediConv_repo访问。

## 1 引言  
法律纠纷调解是解决冲突、维护社会和谐的重要非诉讼机制。然而，有效的调解远不止需要基本的法律知识；它涉及使用高级战略沟通和心理评估技能来驾驭复杂的多方社会互动。因此，培养高度熟练的人类调解员极其耗费资源且耗时，这产生了对能够增强社会冲突解决能力的自动化解决方案的迫切需求。参见图注

图1：ProMediConv的一个对话示例展示了调解智能体（右侧）主动运用调解策略（括号中高亮显示）引导所有争议方（左侧）达成解决。争议方的行为模式状态被明确标注。

大语言模型的快速发展改变了通用对话系统，展示了前所未有的对话流畅性和适应性。基于这一进展，研究工作已扩展到特定领域的对话应用，加速了在说服、法律咨询和心理健康支持等领域的部署。虽然最近的研究开创性地使用基于大语言模型的框架来探索自动化调解和谈判，但要在这个高风险领域全面扩展和量化对话智能体的能力，需要一个全面的基准测试范式。目前，该方向的系统性研究仍受到几个根本性限制的严重制约。

图2：ProMediConv中当事人行为模式状态定义和调解工作流程概述。

首先，当前框架与现实世界调解动态的契合度严重不足。它们常将调解视为通用对话任务，忽视了调解员主动的、战略性的指导角色，以及现实场景中固有的复杂多方沟通。加剧这一问题的是高保真数据的稀缺。由于隐私法规限制，获取真实的法律调解笔录受到严格限制。因此，现有研究被迫依赖缺乏互动动态的静态法律文档，或使用简化的基于大语言模型的提示流程来合成对话。这导致生成了小规模、低保真度的数据集，从根本上未能捕捉真实人类调解的细微动态特征。此外，当前针对主动对话智能体的评估范式往往是结果导向的。现有指标，如平均轮次、成功率和软成功率，主要关注任务效率和最终解决状态。虽然对宏观评估有用，但它们无法捕捉对话内部的定性影响，例如情感支持中的情绪改善，或调解过程中争议方心理状态的逐渐变化。捕捉此类用户侧动态已日益引起研究关注，正如最近关于基于大语言模型的用户模拟或影响具有不同人格特征和行为状态用户的性格建模工作中所反映的。这种过程层面的表征在调解中尤为重要，因为仅依赖最终结果可能掩盖调解员的战略干预如何逐步塑造当事人的心理状态，并最终促进冲突解决。为此，我们系统地定义了ProMediConv，一个旨在基准测试动态、策略驱动的调解场景中主动对话智能体的新框架。我们正式将调解工作流程建模为三个不同的阶段，整合了11种广泛采用的调解策略和四种行为模式状态，以跟踪争议方不断演变的心理立场。为支持此任务并克服数据稀缺，我们使用受不变事实和法律记录约束的自动文本重建管道，从972个真实案例构建了一个高保真度数据集。为解决评估瓶颈，我们引入了MAD，一个细粒度指标，通过监测当事人行为模式的连续变化来量化调解有效性。利用此框架，我们通过评估一系列通用和法律专用大语言模型（结合高级策略规划方法）以及我们定制的基线ProMediAgent，建立了一个全面的基准。我们广泛的实证分析揭示了关键行为现象，并凸显了当前模型在复杂调解环境中面临的持续挑战。总而言之，我们的贡献如下：  
- • 我们提出了ProMediConv，系统地建模多方纠纷调解对话任务。我们构建了一个包含972个真实案例的高保真度数据集，克服了隐私壁垒，同时保留了真实的互动动态。  
- • 我们引入了MAD，一个旨在捕捉当事人行为模式在对话内定性变化的新指标，解决了传统效率和结果导向指标的盲点。  
- • 我们对多种模型及其与我们定制基线的对比进行了基准测试，深入分析了调解对话中的现象以及当前对话智能体在真实世界法律调解中的固有局限性。

## 2 相关工作  
调解与谈判对话框架。调解和谈判是社会互动中常见的形式，因此在对话系统研究中受到了广泛关注。先前的工作主要集中在非正式谈判场景。例如，CraigslistBargain收集了涉及二手物品讨价还价的对话，LAMEN仍针对非正式谈判但扩大了任务范围。最近，研究人员开始探索法律领域中更复杂和专业的调解与谈判对话。然而，现有框架存在任务设定过于简化和与现实动态契合度不足的问题，包括将交互限制在双方设置、未能明确建模重要的当事人状态、以及忽视了调解员在实践中常扮演的主动、指导性角色。此外，当前的调解数据集通常不具备可扩展性，这限制了其在训练和评估中的有用性。主动对话智能体。大多数现有的基于大语言模型的智能体被设计为严格遵循用户指令，这限制了它们在某些场景下提供主动协助的能力。为此，主动对话智能体被设计为能够预测潜在影响并主动引导对话，而不仅仅是对用户输入做出反应。对话智能体中的主动性研究通常集中在两个方向：1）提出澄清性问题；2）对话策略规划。在对话策略规划的背景下，现有研究通常将主动性表述为一个策略选择问题，智能体在每轮对话中从对话策略中进行选择。例如，有研究将思维链融入主动对话，有研究引入规划插件以增强主动能力。此外，有研究通过自我对弈和从AI反馈中学习来改进战略决策。然而，这些方法主要关注双方对话任务，并且，尚无先前工作探索在复杂的多方调解场景中评估主动对话智能体。

## 3 ProMediConv  
在本节中，我们将ProMediConv表述为一个结构化的对话框架（示例如图1所示，完整形式化见附录A.1）。这种系统化表述涵盖了调解工作流程和当事人的行为模式状态（第3.1节），调解策略（第3.2节），以及我们提出的MAD指标（第3.3节）。在该理论基础的指导下，我们随后详细说明了数据集的构建过程（第3.4节）。

### 3.1 调解工作流程与当事人行为模式状态  
我们将ProMediConv工作流程划分为三个主要阶段：（I）理解，（II）调停，（III）和解。虽然标准进展是严格顺序进行的（（I）→（II）→（III）），但调解的动态性质允许例外轨迹。例如，调解员可能需要为反复安抚而返回到理解阶段（（II）→（I）），或者为了简单解决小型纠纷而跳过调停阶段（（I）→（III））。关键是，推动此工作流程需要跟踪相关当事人的内部状态。大量关于纠纷解决的研究强调，人类调解员的主要关注点在于转变争议方的行为模式。为了正式建模这一点，我们在ProMediConv中纳入了细粒度的行为模式跟踪机制。借鉴跨理论模型，该模型认为行为改变是一个渐进的、多阶段的过程，我们将当事人的行为模式分为四个不同的发展状态。这种分类与当事人视角在策略性调解下的演变方式完美契合。图2展示了这些行为模式状态及其在调解工作流程中的整合。

### 3.2 调解策略  
图3：调解策略集概览。我们使用策略名称前两个单词的首字母缩写策略名称（例如，“Understanding the Situation”缩写为“US”），除了“Re...”