人人皆独特:面向催收的行为异质性协商对话系统

arXiv cs.AI 论文

摘要

本文介绍了DebtBench——首个针对催收协商的个性化基准测试,以及DebtGPT——一个同时优化财务回收与交互体验的催收代理。实验表明,大多数大型语言模型在这一真实场景中表现不佳,而DebtGPT达到了与GPT-4o相当的性能。

arXiv:2607.25218v1 Announce Type: new Abstract: 催收是金融行业中的一项关键协商任务,作为以人为中心的对话系统的行为丰富、高风险测试平台,具有强烈的实践相关性和卓越的学术价值。尽管大型语言模型(LLM)在对话和协商方面展现出潜力,但有效评估它们在复杂场景中的表现仍是一个重大挑战:现有基准测试一致假设用户是静态、有固定偏好的理性智能体,未能捕捉到真实催收中固有的丰富行为异质性。为弥补这一差距,我们提出了DebtBench,这是首个公开的个性化催收基准测试,突出了协商中的行为异质性。此外,我们开发了DebtGPT,这是一个经过训练的催收代理,旨在联合优化财务回收与交互体验。我们使用16个最先进的大型语言模型进行实验,结果发现大多数现有模型在这种复杂但真实的场景中表现不佳,而DebtGPT在所有开源基线模型中表现最优,并达到了与GPT-4o相当的性能。代码和数据可在 https://github.com/YYuHhhh/DebtNegotiation 获取。
查看原文
查看缓存全文

缓存时间: 2026/07/29 09:54

# 人人独特:面向行为异质性债务催收谈判对话系统 来源:https://arxiv.org/html/2607.25218 杨宇杭1,2,唐凯1,2,叶超1,王浩波1,罗琦琦211footnotemark:1,郑金广2,张志鑫2 1浙江大学区块链与数据安全全国重点实验室 2蚂蚁集团 \{yangyuhang, wanghaobo\}@zju\.edu\.cn \{luoqiqi\.lqq, zhengjinguang\.zhen\}@antgroup\.com ###### 摘要 债务催收是金融领域一项关键的谈判任务,具有极强的实际意义,同时也是行为丰富、高风险的人机对话系统测试平台,具有非凡的学术价值。虽然大型语言模型(LLMs)在对话和谈判方面展现出潜力,但在此复杂场景中有效评估其性能仍是一项重大挑战:现有基准一致假设用户是静态的、具有固定偏好的理性智能体,未能捕捉现实债务催收中固有的丰富行为异质性。为弥合这一差距,我们提出DebtBench,这是首个公开的、富含人物画像的债务催收基准,突出了谈判中的行为异质性。此外,我们开发了DebtGPT,一个经过训练的债务催收智能体,旨在联合优化财务回收和交互体验。我们的实验结果,使用了16个最先进的LLM,发现大多数现有模型在此复杂但现实的场景中表现不佳,而DebtGPT超越了所有开源基线,性能与GPT-4o相当。代码和数据可在https://github.com/YYuHhhh/DebtNegotiation获取。 人人独特:面向行为异质性债务催收谈判对话系统 杨宇杭1,2,唐凯1,2,叶超1,王浩波1††thanks:通讯作者\.,罗琦琦211footnotemark:1,郑金广2,张志鑫21浙江大学区块链与数据安全全国重点实验室2蚂蚁集团\{yangyuhang, wanghaobo\}@zju\.edu\.cn\{luoqiqi\.lqq, zhengjinguang\.zhen\}@antgroup\.com 参见图注图1:现实世界催收员-债务人对话展示了三个关键行为特征:(1) 丰富的情感表达,(2) 认知局限,以及(3) 多样的语言风格。## 1 引言 债务催收是金融行业一项关键但劳动密集型任务,机构需要回收不良贷款,同时保持债务人的参与度与合规性。每年,数百万个人因个人财务困难陷入长期违约,需要通过基于谈判的解决方案来最大程度减少债权人损失并避免法律升级(Ozili, 2019 (https://arxiv.org/html/2607.25218#bib.bib26); Firanda et al., 2021 (https://arxiv.org/html/2607.25218#bib.bib10))。传统上,该过程依赖大型专业催收团队手动联系债务人、协商还款条款以及跟进逾期账户(Yang et al., 2020 (https://arxiv.org/html/2607.25218#bib.bib37); Abe et al., 2010 (https://arxiv.org/html/2607.25218#bib.bib1))。这种劳动密集型方法带来高昂的运营成本,并容易出现人为错误,最终导致次优回收率和糟糕的客户体验。这些局限性凸显了对自动化谈判智能体的迫切需求,这些智能体能够扩展个性化、有效且富有同理心的债务解决方案。 近年来,大型语言模型(LLMs)及相关基准的进展(Wang et al., 2025a (https://arxiv.org/html/2607.25218#bib.bib30); Kong et al., 2025 (https://arxiv.org/html/2607.25218#bib.bib17))推动了谈判智能体的发展,但它们关注的是简单、结构良好的场景,如物品讨价还价和电子商务砍价。虽然Wang等人(2025b (https://arxiv.org/html/2607.25218#bib.bib32))将谈判扩展到债务催收等复杂领域,但他们简化了场景,仅建模客观财务属性,忽视了主观行为因素。关键在于,所有这些基准都一致假设用户是静态的、具有固定偏好的理性智能体,未能捕捉实践中观察到的行为异质性。如图1 (https://arxiv.org/html/2607.25218#S0.F1)所示,现实世界的债务谈判表现出三种显著的行为异质性,挑战了这些理想化模型:(1) 丰富的情感表达——用户表现出强烈、动态的情绪,如焦虑、防御和悲伤;(2) 认知局限——个体常持有法律误解、缺乏金融素养或推理不一致;以及 (3) 多样的语言风格——从回避性、碎片化的话语到直接对抗的陈述。这些复杂性源于每个人都是独特的,使得现有基准对债务催收而言不充分。 除了高度的实际相关性,债务催收作为行为丰富、高风险的人机谈判智能体测试平台,还具有非凡的学术价值。然而,由于严格隐私法规保护敏感的个人和财务数据,大规模收集真实对话极具挑战,限制了先前工作(Wang et al., 2025b (https://arxiv.org/html/2607.25218#bib.bib32))只能进行浅层探索。幸运的是,通过与一家领先金融科技公司合作,我们获得了大量真实催收员-债务人对话语料。尽管保密协议禁止公开发布原始数据,但允许我们将真实行为模式提炼为保护隐私的合成基准。为此,我们提出DebtBench,这是首个公开的、富含人物画像的债务催收基准,突出了谈判中的行为异质性。该过程由一个三阶段数据合成流水线驱动,我们半自动提取真实样本中的聊天原则,然后提示领先的LLM迭代生成高质量、多维度的画像档案。 为了推进债务催收中具有远见、适应用户行为的谈判智能体的发展,我们开发了DebtGPT,一个通过粗到细偏好优化(CFPO)训练的智能体——该框架使模型能够学习具有远见的谈判策略,联合优化长期财务回收和用户体验。我们对DebtBench基准上的先进开源和闭源LLM进行了全面评估。结果表明:(1) 大多数现有模型在富含人物画像的债务催收场景中表现不佳,成功率低于75%。(2) 与预期相反,推理专用模型的表现不如其通用对应模型,突显了形式推理能力与现实谈判中行为基础需求之间的错位。(3) 值得注意的是,我们80亿参数的DebtGPT超越了所有开源基线,性能与GPT-4o相当。 ## 2 相关工作 ##### 谈判基准。谈判是NLP中的一个活跃领域,对话系统越来越受到关注。最近的基准引入了各种谈判,大致可分为合作性范式和竞争性范式。合作性谈判侧重于多议题权衡以实现互利,如说服(Wang et al., 2019 (https://arxiv.org/html/2607.25218#bib.bib33); Jin et al., 2024 (https://arxiv.org/html/2607.25218#bib.bib16))和求职面试(Yamaguchi et al., 2021 (https://arxiv.org/html/2607.25218#bib.bib34))。相比之下,竞争性谈判模拟固定资源上的零和讨价还价,例如Bargain(He et al., 2018 (https://arxiv.org/html/2607.25218#bib.bib13); Wang et al., 2025a (https://arxiv.org/html/2607.25218#bib.bib30); Kong et al., 2025 (https://arxiv.org/html/2607.25218#bib.bib17))和Assignment(Lewis et al., 2017 (https://arxiv.org/html/2607.25218#bib.bib19); Chawla et al., 2021 (https://arxiv.org/html/2607.25218#bib.bib4)),其中一方收益直接减少另一方。尽管取得了显著进展,现有谈判对话系统大多处理简单、结构良好的场景。虽然Wang等人(2025b (https://arxiv.org/html/2607.25218#bib.bib32))将谈判扩展到债务催收等复杂高风险领域,但他们仅建模客观财务属性,忽略了主观行为因素。关键在于,所有当前基准都假设用户是静态的、具有固定偏好的理性智能体,未能捕捉现实世界的行为异质性。 ##### 谈判中的大型语言模型。近期研究试图提升大型语言模型(LLMs)在谈判对话设置中的策略能力,可分为两个主要范式:1) 使用提示工程激发内部推理。Zhang等人(2023 (https://arxiv.org/html/2607.25218#bib.bib40))和Deng等人(2023 (https://arxiv.org/html/2607.25218#bib.bib7))提示LLMs通过自我反思规划下一轮行动。Fu等人(2023 (https://arxiv.org/html/2607.25218#bib.bib12))采用LLMs之间的自我对弈,通过AI生成的反馈迭代改进谈判策略。2) 引入外部规划器。Deng等人(2024 (https://arxiv.org/html/2607.25218#bib.bib8))引入了一个即插即用的策略规划器,为对话智能体生成策略指导。He等人(2024 (https://arxiv.org/html/2607.25218#bib.bib14))和Yu等人(2023 (https://arxiv.org/html/2607.25218#bib.bib38))采用蒙特卡洛树搜索增强长期规划。然而,这些方法几乎只关注任务级成功,常常忽视用户交互体验。在债务催收等高风险背景下,糟糕的沟通会侵蚀信任,引发脱离,最终损害长期回收(Byrne, 2024 (https://arxiv.org/html/2607.25218#bib.bib3))。我们的工作通过行为基础的人物画像和具有远见的训练框架(CFPO),联合优化策略有效性和以人为中心的交互,填补了这一空白。 参见图注图2:DebtBench人物画像合成流水线:(1) 从真实对话中提取多维属性;(2) 通过对话分析进行专家引导的策略总结;(3-5) 通过对话模拟和基于LLM的对齐迭代优化人物画像档案。 ## 3 DebtBench ### 3.1 数据构建 参见图注图3:真实和合成用户数据分布在PCA空间中的比较。左:真实数据(蓝色);右:合成数据(橙色)。为了推进现实的债务催收对话系统,我们需要细粒度的人物画像和捕捉真实人类行为的高质量数据——然而由于隐私限制,此类数据稀缺。虽然我们从一家领先金融科技公司访问了真实对话,但严格的保密协议禁止公开发布。如图1 (https://arxiv.org/html/2607.25218#S0.F1)所示,这些对话揭示了三个核心行为特征:1) 丰富的情感表达,2) 认知局限,以及3) 多样的语言风格——所有这些都挑战了LLMs倾向于生成过于理性、中性回应的问题。为弥合这一差距,我们提出了一个三阶段合成流水线:人物画像提取、策略丰富和行为细化。 ##### 人物画像提取。我们首先通过对一家领先金融科技公司提供的1000个真实催收员-债务人对话进行系统分析来推导债务人画像,将每个债务人建模为独特的个体,沿四个关键维度: - •![[未标记图像]](https://arxiv.org/html/2607.25218v1/figure/information.png)背景信息:核心人口统计、债务相关和财务细节,保持真实债务人档案的分布,确保高场景保真度。 - •![[未标记图像]](https://arxiv.org/html/2607.25218v1/figure/personality.png)人格特质:情感和行为特征,包括性格、情绪、情绪韧性、语言风格和MBTI人格类型——以驱动丰富的情感表达和多样的语言风格。 - •![[未标记图像]](https://arxiv.org/html/2607.25218v1/figure/cognitive.png)认知属性:用户对法律义务、金融知识、信用后果和责任的理解——反映真实交互中的认知局限。 - •![[未标记图像]](https://arxiv.org/html/2607.25218v1/figure/scenario.png)生活基础场景:一个连贯的叙事背景(例如,失业、医疗债务),将画像植根于合理的生活故事中——将各属性统一为一致个体。 DebtBench中的每个画像Pd\\mathcal\{P\}\_\{d\}被形式定义为结构化元组: Pd=\(B,M,C,S\)=ExtractLLM\(d\),\\mathcal\{P\}\_\{d\}=\\left\(B,M,C,S\\right\)=\\text\{Extract\}\_\{\\text\{LLM\}\}\(d\),其中d∈Dreald\\in D\_\{real\}是真实世界对话,ExtractLLM\(⋅\)\\text\{Extract\}\_\{\\text\{LLM\}\}\(\\cdot\)是一个基于提示的LLM函数,从对话数据中提炼多维属性。B,M,C,SB,M,C,S分别表示背景、人格、认知和场景。我们在图3 (https://arxiv.org/html/2607.25218#S3.F3)中比较了真实和合成用户背景信息的分布,在PCA空间中显示出强对齐。 ##### 策略丰富。为确保生成的语句既真实又具有策略可解释性,我们为催收员和债务人定义了明确的策略集,遵循三个原则:(1) 行为基础:策略反映真实交互中的真实策略;(2) 语义区分性:每个策略具有明确区分的意图;(3) 可操作性:策略可以在自然语言中具体实现。我们首先提示LLM分析真实催收员-债务人对话,提取策略-语句对。这些对的语义嵌入使用HDBSCAN(McInnes et al., 2017 (https://arxiv.org/html/2607.25218#bib.bib24))进行聚类,以识别一致的行为模式。从每个聚类中,由领域专家审查10个代表性语句,迭代改进并合并为符合原则的类别。最终集合包括9种催收员策略(例如,财务评估、情绪安抚)和8种债务人策略(例如,情绪对抗、抱怨)。完整定义见表7 (https://arxiv.org/html/2607.25218#A6.T7)和表8 (https://arxiv.org/html/2607.25218#A6.T8)。 ##### 行为细化。为确保生成的对话真实反映提取画像中定义的行为模式,我们采用迭代细化机制,对每个语句与画像属性进行细粒度对齐。具体而言,我们使用LLM作为自动评估器,沿三个关键维度评估对齐程度:情感一致性(例如,验证高度防御型的债务人是否恰当地表达焦虑)、认知合理性(例如,检查金融素养低的债务人是否避免技术术语)以及语言风格连贯性(例如,确保说话风格匹配“回避型”或“对抗型”)。未通过对齐检查的响应通过针对性的提示进行迭代修改,其中LLM以完整画像为条件生成更一致的备选。此反馈循环用于更新画像本身,闭合对齐循环。形式化地,给定初始画像Pd\(0\)\\mathcal\{P\}\_\{d\}^\{\(0\)\},细化过程如下: Pd\(l\+1\)=RefineLLM\(Pd\(l\),τ\(l\)\),\\mathcal\{P\}\_\{d\}^\{\(\\ell\+1\)\}=\\text\{Refine\}\_\{\\text\{LLM\}\}\\left\(\\mathcal\{P\}\_\{d\}^\{\(\\ell\)\},\\ \\tau^

相似文章