CARRE：用于可解释客户流失处方的反事实行动检索与推理评估

# CARRE：面向可解释流失干预的反事实行动检索与原因评估  
来源：https://arxiv.org/html/2609.09766  
会议：第五届端到端客户旅程优化研讨会；2026年8月9日；韩国济州  
CCS：计算方法 机器学习  
CCS：信息系统 决策支持系统  
CCS：以人为本的计算 自然语言界面  

金敏珠  
单位：汉阳大学工业数据工程系，首尔，韩国  
邮箱：[[email protected]](mailto:[email protected])  

朴相镇（*通讯作者）  
单位：汉阳大学工业数据工程系，首尔，韩国  
邮箱：[[email protected]](mailto:[email protected])  

赵承焕  
单位：汉阳大学工业数据工程系，首尔，韩国  
邮箱：[[email protected]](mailto:[email protected])  

2026年  

###### 摘要  
流失模型通常识别高风险客户，但无法指明应考虑哪些可行的留存行动或解释该行动为何合适。我们提出CARRE（反事实行动检索与原因评估）三阶段框架，该框架结合检索增强候选生成、成本感知反事实评分和大语言模型推理。CARRE从预定义的留存行动目录中检索候选方案，基于明确的特征变换估计模型预测的流失风险变化，并为所选行动生成结构化流失原因及基于用户画像的解释。在IBM电信客户流失数据集上，CARRE在313个高风险测试案例中，模型预测的平均风险降低比普通SHAP基线高79.8%，比成本控制的SHAP+Cost基线高80.4%；其成本归一化效率比普通SHAP基线高10.5%。在包含136个案例的原因分层评估样本中，基于诊断的提示优化将弱标签一致性从79.4%提升至90.4%，且未违反任何辅助计划约束；由于误差诊断与重新评估使用同一样本，优化后结果并非泛化的独立估计。针对预优化v2版本原因输出生成的135个解释，两家不同厂商的LLM评判员给出4.02至5.00分（满分5分）的平均分，其中一位评判员在行动可行性上达到评分饱和，且确定性审计发现66个可验证的画像声明中无矛盾。检索消融实验显示，在本数据集中k=5提供了高候选覆盖率与下游推理一致性之间的最佳平衡折中。这些结果展示了如何在原型流失干预流程中分离并联合评估检索、基于模型的反事实评分和语言生成。  

###### 关键词  
客户流失预测、反事实解释、检索增强生成、处方分析、大语言模型、可解释性  

## 1. 引言  
数字化转型与平台经济的增长使得基于订阅的收入模式在软件、电信、媒体和金融服务领域无处不在。与以一次性购买为中心的传统市场不同，订阅模式允许客户随时取消订阅，使流失管理成为持续的运营挑战。在电信行业，年流失率普遍在15%–25%之间，而获取新客户的成本通常被认为是留存现有客户的数倍[1]。这种经济压力推动了大量关于流失预测的机器学习研究。从逻辑回归、决策树到梯度提升集成，提出了广泛的方法，其中利润驱动的框架考虑了留存操作的成本[21]。这些分类器的提升变体在公开的电信流失基准测试中始终优于其非提升对应方法[1]。  

仅凭预测准确性，运营部署仍存在根本局限：0.85的流失概率分数仅告知客户保留经理该客户可能离开，但未提供关于客户*为何*可能流失或*哪些具体行动*可降低该风险的指导。这种预测-处方差距不仅是技术限制，更转化为实际业务损失。在未识别主要可观测流失风险模式的情况下重复开展统一的留存活动，会导致成本效率低下，并无法及时向高风险客户提供适当干预。特别是在电信行业，需要同时处理数千名高风险客户，个性化处方结合解释性依据对于一线代理做出有效决策至关重要。  

现有方法仅孤立地满足这些需求。事后解释方法（如SHAP）将模型预测分解为特征贡献，识别客户流失概率高的原因[2]。然而，特征重要性无法直接转化为可行建议。知道客户“按月续约”合同是最负面特征，并不能揭示应提供合同升级、价格折扣还是服务捆绑。反事实解释方法识别可翻转模型决策的最小画像变化，但关注假设性特征变换，而非具有明确成本和资格约束的业务可行干预[3,4]。基于LLM的系统能生成流畅的个性化文本，但若未基于预定义行动空间，则容易产生通用建议或无法落地的虚构干预措施。  

进一步的挑战是*解释对齐*：即系统解释在流失诊断、行动推荐和一线传达之间保持相互一致的特性。具体而言，提供给面向客户代理的处方解释必须同时满足三个标准：首先，必须忠实反映从客户画像导出的启发式流失风险标签；其次，必须与推荐行动逻辑一致；第三，必须以一线代理能立即执行的语言表达。先前研究分别处理这些标准：生成文本忠实性研究针对第一标准[8]，反事实救济研究关注行动可行性[9]，基于LLM的解释系统部分实现了逻辑一致性。据我们所知，先前系统很少在单一流失处方流程中联合评估基于画像的诊断、约束行动选择和面向代理的解释。  

本文提出CARRE统一流程，通过三个紧密耦合的组件连接预测、处方与解释：  
1. (1) **基于RAG的候选检索**：对六个业务行动文档构建FAISS索引，检索与每个客户画像语义最相关的干预候选方案。  
2. (2) **反事实优化**：校准的逻辑回归模型将每个检索到的候选方案模拟为反事实干预，并通过联合权衡预测流失概率的降低与行动的归一化操作成本进行评分。平衡这两个目标的最佳候选方案被选为处方。  
3. (3) **基于LLM的推理与思维链**：配备结构化分类标准和思维链提示的LLM，识别客户流失原因，并生成与检索行动上下文一致的自然语言解释。  

通过分离语义搜索（阶段1）、成本感知优化（阶段2）和自然语言解释（阶段3），每个组件在自身优势领域运作。CARRE基于核心设计理念，即LLM的作用是*推理*，而非检索或优化。本文主要贡献如下：  
- • 一个端到端的RAG+CF+LLM个性化流失处方框架，通过结合反事实指标与bootstrap置信区间、弱标签一致性、跨厂商双评判员自动评估和确定性验证的多层协议进行评估。  
- • 一个受控的*SHAP+Cost*基线表明，在相同成本惩罚下CARRE保持80.4%的模型预测风险降低优势，同时λ扫描揭示了清晰的成本惩罚机制边界而非平滑权衡。  
- • 一项探索性的四模型比较揭示了显著的模型特定差异和类别特定失败模式；由于模型规模、厂商、架构和推理设置存在混杂因素，该实验未隔离这些差异的原因。  
- • 一项提示开发分析显示，明确优先级规则和行动隐匿可提高指令遵循保真度，随后的基于诊断的v3优化在相同136例原因分层样本上将一致性从79.4%提升至90.4%；我们将其报告为优化后的开发结果而非独立的泛化估计。  
- • 一个两步阶段3设计，将原因分类与辅助计划生成（阶段3-a，隐匿cf_action）与最终解释生成（阶段3-b，基于已确定原因和cf_action）分离，旨在解决当成本最优行动与规则一致行动不同时出现的解释-处方不连贯问题（在已解释案例中，精确辅助计划-行动匹配仅为3/135，即2%）。  

本文其余部分回顾相关文献，形式化CARRE及其行动空间，描述实验方案，报告定量和定性结果，并总结局限性和未来方向。  

## 2. 相关工作  
### 2.1. 流失预测、概率校准与处方分析  
对电信流失数据集上分类器（逻辑回归、SVM、决策树、朴素贝叶斯、人工神经网络及其提升变体）的系统比较表明，提升方法始终优于普通分类器，其中AdaBoost提升的多项式核SVM获得最佳准确率和F度量[1]。纯统计评估因忽略操作成本而受到批评，这促使了联合考虑留存成本和流失风险的利润驱动框架[21]。由于高性能分类器产生的分数通常无法直接解释为概率，因此应用等保序回归或Platt缩放进行校准[12]；校准概率是CARRE阶段2反事实评分的关键输入。处方分析文献区分*描述性*、*预测性*和*处方性*系统[23]，大多数已部署的流失系统仍停留在预测层。针对电子商务提出了基于参与度的留存推荐器，但未解释为何选择该推荐以及它如何解决每个客户的流失驱动因素[22]。CARRE通过完成从预测到处方再到解释的完整闭环来弥合这一差距。  

### 2.2. 反事实解释  
反事实解释呈现可改变当前预测的最小画像变化。反事实解释最初被形式化为不访问模型内部的最小特征变换[3]；随后引入行动可行性约束以保持提议的变化可行[9]，而*算法救济*通过结构因果模型和与难度成比例的成本函数扩展了此概念[4]。还可以生成暴露帕累托前沿的多样化反事实集[19]。CARRE采用此成本感知公式，但将救济限制在预定义业务行动词汇而非任意特征变换，确保每个处方的操作可行性。  

### 2.3. 检索增强生成与基于LLM的解释  
RAG将预训练LLM与外部检索器结合，减少知识密集型任务中的幻觉[7]。密集检索相比稀疏匹配提高了召回率[20]，多跳变体处理复杂问题[27]，Self-RAG训练模型决定何时检索并验证自身答案[25]。在流失处方场景中，RAG将LLM的计划空间约束到预定义的候选行动以防止幻觉干预，并提供特定行动的详细信息（目标客户画像、启发式预期效果元数据、资格条件）作为上下文以支撑LLM的解释。检索文档数量k是关键设计决策，因为过少可能错过最优行动，而过多则引入无关上下文可能混淆LLM推理。在推理方面，TalkToModel通过对话查询ML预测[15]，思维链提示提高需要结构化规则应用任务的准确性[14]，明确列出判断标准可提高约束生成中的规则遵循度[26,16]。CARRE的提示设计整合了这些研究中的思维链指令和明确分类标准，动机是第3节讨论并在第6节重访的反向推理偏差。  

## 3. 问题表述与CARRE框架  
CARRE是一个三阶段流程，同时输出高风险客户*为何*可能流失、*何种行动*可降低该风险以及*如何*向代理解释该行动的依据。