SalesLoop：基于绩效反馈的销售线索排序强化学习

# 基于绩效反馈的强化学习在销售线索排名中的应用
Source: https://arxiv.org/html/2607.20655

###### 摘要

客户关系管理（CRM）系统中的线索排名面临一个持续性挑战：离线准确率较高的模型在实际生产环境中往往表现不佳。我们识别出导致这一脱节的三个根本性差距：离线与在线指标不匹配、逐点与列表目标不一致、以及时间分布漂移。为解决这些差距，我们提出了SalesLoop，一种强化学习框架，在模型预测与真实业务成果之间建立闭环反馈。我们的方法引入了（1）感知绩效的奖励，该奖励将转化结果与排名位置及转化速度加权结合，以及（2）判别式GRPO，一种将组相对策略优化（GRPO）适配到判别式排名模型的列表优化目标。

相比最强静态基线，SalesLoop在NDCG@K上提升+7.9%，在P@K上提升+15.8%。在一家新能源汽车制造商进行的160天生产A/B测试中，覆盖1650万条线索及两个省级市场的280名销售专家，验证了统计显著的累计提升：+4.7%（p=0.047）和+8.7%（p=0.002）。在生产环境中，排名骨干模型达到了44.1%的Top-10%召回率，并且以销售专家基线2.3倍的转化率识别出高意向线索。

## 1 引言

线索排名——根据转化可能性对销售线索进行优先级排序——是现代客户关系管理（CRM）的基石[33,21]。在汽车销售、房地产和企业B2B等高价值行业中，线索优先级排序的质量直接决定了销售效率和收入。工业CRM平台每天处理数百万条线索，但由于销售能力有限，跟进努力必须按优先级分配：只有排名靠前的线索（例如每日Top-10,000）会被展示给销售专家进行及时跟进。因为最高优先级的努力集中在这些排名靠前的线索上，模型对它们的排名质量直接影响销售团队能够实现的转化数量——从而影响收入。

尽管深度学习[8,31]取得了显著进展，以及最近大语言模型（LLM）在CRM任务中的应用[10]，模型开发与实际部署之间仍存在持续差距。根据我们在某主要新能源汽车制造商部署线索排名系统的经验，我们观察到，在离线指标上表现优异的模型在生产环境中常常表现不佳。我们识别出现有方法未能解决的三个根本性差距：

##### 差距1：离线与在线指标不匹配。

离线模型评估优化的是预测准确度（例如基于二进制转化标签的AUC），但在线业务成果取决于一套完全不同的因素：销售跟进的**效果**。在实践中，转化并非模型被动预测的事件——它是由**线索质量**与**人工努力强度**（跟进频率、通话时长、互动深度）共同决定的结果。这造成了关键的评估不匹配：离线指标可能提升，但对应的在线结果可能停滞甚至恶化。在多目标推荐系统中也观察到了类似现象，离线AUC提升同时改善观看时间和用户互动，但在线部署却导致观看时间增加而用户互动减少[35]。微妙之处在于，历史转化标签本身受到人工努力的混杂影响：一条线索转化，部分是因为它本身有潜力，部分是因为销售专家投入了时间。基于这些标签训练的模型因此学习到了**意图**与**努力**的混合体，并可能通过偏爱那些“更容易跟进”的线索（例如响应积极但低意向的线索）而非需要更多努力但潜在意图更高的线索，来提高离线AUC。结果是：离线AUC提升，但在线锁定率并未提升，因为模型的排名不再与有限销售能力的有效部署保持一致。

##### 差距2：逐点预测 ≠ 列表排名质量。

标准训练目标优化的是逐点准确度：最小化单条线索的预测误差。然而，业务价值完全取决于**列表排名质量**：正确的线索是否出现在可操作的Top-K窗口内。这两个目标并不等价。一个模型可能在全部线索群体上达到出色的逐点准确度，但仍将真实转化的线索排在位置11K–20K——恰好处于销售能力分配的Top-10K操作窗口之外。在这种场景下，模型的逐点表现很强，但其业务影响为零，因为实际转化的线索并未展示给销售团队。相反，一个逐点准确度一般但转化集中在Top-K的模型，能带来显著更高的业务价值。逐点最优的模型不一定列表最优，优化前者并不能保证后者得到改善。

##### 差距3：时间分布漂移。

客户行为、市场条件和销售策略随时间不断演变[7]。促销活动、季节性变化和竞争动态导致线索群体分布发生偏移，然而基于历史数据训练的静态模型保持不变。在汽车销售中，仅春节促销期就能使线索量波动40–60%，并呈现性质不同的转化模式（例如，随意浏览者增多，即时意向降低）。一个在上一季度表现良好的模型，几个月后可能逐渐出现偏差，因为流入线索的底层分布已经改变。传统的训练流水线缺乏对时间偏移进行持续适应的机制，导致模型训练所用数据与生产环境所遇数据之间的差距不断扩大。

这三个差距有一个共同点：模型在历史数据上训练一次，却必须在持续演变的部署环境中运行。解决这些差距需要一个能够根据生产反馈进行适应的系统，而非仅依赖历史信号。受广告优化中基于绩效反馈的强化学习（RLPF）[13]和语言模型中组相对策略优化（GRPO）[28]的最新进展启发，我们提出了**SalesLoop**，一种在模型部署与业务成果之间建立反馈闭环的强化学习框架。

奖励信号直接来自于部署的揭示：哪些线索实际转化了、转化速度如何、以及模型将它们排在了什么位置。SalesLoop将这种部署反馈转化为持续的学习信号：

部署 → 观察 → 奖励 → 更新 → 部署

我们的方法引入了两项关键创新：

（1）**感知绩效的奖励**，该奖励将转化结果与排名位置（遵循对数注意力衰减模型[6]）和转化速度（更快的转化表示更强的意图）进行加权结合。与二进制转化标签不同，该奖励区分了已转化线索，并直接从部署中编码了排名质量。

（2）**列表优化目标**，将GRPO适配到判别式排名模型——我们称之为**判别式GRPO**。通过将每个训练批次视为一个组，并计算跨线索的相对优势，我们优化的是排名分布而非单个预测，直接解决了差距2。

我们通过多阶段协议在新能源汽车制造商处评估SalesLoop，核心是覆盖1650万条线索和280名销售专家的160天生产部署：

- • **离线基准测试**：SalesLoop相比传统ML（XGBoost、DeepFM）和基于LLM的基线（SFT、DPO）取得了显著改进，在排名敏感指标上的增益最大（NDCG@K：+7.9%，P@K：+15.8%，超越最强静态基线）。
- • **生产A/B测试**：在两个省级市场（280名专家）进行的160天部署验证了锁定转化率分别提升+4.7%和+8.7%（p<0.05），优势随着反馈循环积累部署数据而增长。
- • **部署验证**：在生产环境中运行103天，排名骨干模型达到44.1%的Top-10%召回率（随机基线的4.4倍），并以销售专家基线2.3倍的转化率挖掘出增量高意向线索，量化了绝对排名质量和业务价值，独立于A/B比较。

我们的贡献有三方面：

1. 我们刻画了导致离线强线索排名模型在生产中表现不佳的三个差距——离线与在线指标不匹配、逐点与列表目标不一致、时间分布漂移——并提出通过绩效反馈循环而非静态训练流水线来弥补这些差距。
2. 我们用两个组件实现了这一循环：一个感知绩效的奖励，结合转化结果与排名位置及转化速度；以及**判别式GRPO**，一个将组相对优势适配到判别式排名模型的列表目标。
3. 我们在跨越两个市场、1650万条线索和280名专家的160天生产A/B测试中验证了SalesLoop——这是一种在在线排名中罕见的长周期、真实世界评估——展示了统计显著的提升（+4.7%至+8.7%，p<0.05）。

## 2 相关工作

##### 线索评分与CRM分析。

传统线索评分依赖于基于规则的评分卡[33]或浅层机器学习模型，如逻辑回归和梯度提升[4]。近期工作探索了深度学习在CRM和点击率预测中的应用，包括Wide & Deep[5]、DeepFM[8]、xDeepFM[14]、AutoInt[29]以及DCN及其后继者[31,32]用于建模特征交互。CRMArena[10]在CRM任务（包括线索资格评定）上对LLM进行基准测试。SalesRLAgent[17]将强化学习应用于销售对话中的实时转化预测。Sun等人[30]提出了asLLR，在仅解码器LLM中整合CTR和QA损失用于汽车线索排名，并通过A/B测试验证了增益。HPRO[37]在分层偏好排名目标下使用LLM对线索进行评分，但仅在历史数据上训练一次并作为静态模型部署。SalesLoop则相反，它在部署与训练之间建立闭环，通过观察到的转化结果持续调整排名模型。

##### 学习排序。

学习排序方法分为逐点[15]、成对[1]和列表[2,34]三种方法。逐点方法将排序视为对单个项目的回归或分类。成对方法优化项目对之间的相对顺序。列表方法直接优化整个列表的排序质量。虽然列表方法更符合排序目标，但大多数都在离线环境下操作，使用静态相关性标签。在线学习排序[18,12]根据用户反馈调整排名，但假设的是即时点击信号，而非线索排名中特有的延迟、稀疏转化结果（反馈周期长达30天以上）。

##### 用于排序和推荐的强化学习。

强化学习已被应用于排序和推荐任务[11,3]。RLHF[19]利用人类反馈作为奖励信号对齐LLM，PPO[26]是标准的策略优化算法。Xue等人[36]将RL应用于推荐系统中的自适应用户留存，展示了在线RL在生产中可超越静态评分；然而他们的奖励由近乎即时的用户留存信号驱动，而线索排名必须从数周后才实现的转化中学习。与我们工作最相关的是Jiang等人[13]引入的基于绩效反馈的强化学习（RLPF），用于Meta的广告文本生成，使用CTR预测模型作为奖励信号，并在大规模生产A/B测试中报告了一致的CTR增益。该工作确立了真实世界绩效指标可作为有效奖励信号，绕过人工标注的需求。然而他们的场景是**生成式**的——优化词元级生成概率，针对即时的CTR代理。GRPO[28]同样作用于生成模型，引入组相对优势从而消除了对学习值网络的需求。SalesLoop将这些见解适配到**判别式**排名模型，在**延迟、稀疏**奖励下工作，提出一种列表变体，计算线索分数上的组相对优势，而非词元级生成概率。

##### 在线学习与持续学习。

在线学习[27]在数据到达时增量更新模型。持续学习[20]处理非平稳分布学习中的灾难性遗忘。概念漂移检测[7]识别出需要模型更新的分布偏移。近期关于无偏学习排序的工作[25,38]强调了在已部署排序系统中将相关性从位置偏差和选择偏差中解耦的重要性。尽管这些方法提供了理论基础，但它们很少解决线索排名的特定挑战：极度延迟的反馈（30天以上）、稀疏的正标签（转化率<<2%）、以及需要优化列表业务指标而非逐点准确度。

综合来看，先前的工作留下了明显的空白：静态离线学习排序部署后不进行适配；在线学习排序假设即时反馈；基于绩效反馈的强化学习迄今为止针对的是生成模型和近期代理。没有任何工作解决必须从延迟、稀疏业务结果中学习的判别式、列表排序——这正是SalesLoop所应对的场景。