用于财务建议生成的GRPO：在CATE评估中超越商业LLM

# GRPO用于金融建议生成：在CATE评估下超越商业LLM
来源：https://arxiv.org/html/2608.11787
Shrutendra HarsolaVignesh Subrahmaniam隶属机构：Shravan Mohan, Yakov Gazman, Oded Vainas隶属机构：Intuit隶属机构：\{ofir\_benshoham, shrutendra\_harsola, vignesh\_subrahmaniam,隶属机构：shravan\_mohan, yakov\_gazman, oded\_vainas\}@intuit\.com

###### 摘要

从业务记录中生成可执行的财务建议，要求模型整合数值推理、领域知识和良好判断力，同时避免提出可能损害业务的建议。直接监督很困难：历史决策不一定是最优的，高质量的自由格式标签获取成本高昂。我们将财务建议生成建模为强化学习问题，并使用组相对策略优化（GRPO）对开放权重语言模型进行微调。我们的奖励是LLM作为评委的评分规则，该规则在多个二值维度上对每条建议的文本质量进行评分，并辅以安全门来防止危害。

由于仅依赖基于LLM的评估无法确认改进是否反映了真实的业务价值，而非对评委的适应，我们补充了一种独立于评委的审计，基于标准双重稳健条件平均处理效应（CATE）估计器。在这一基于观测数据的离策略审计下，我们训练的LLM实现了最强的商业基线的估计毛利润提升的约两倍（0.0228 vs. 0.0104），并且在所有评估策略中拥有最低的下行比率和最小的负尾部风险。值得注意的是，两种评估对基线的排序并不一致：未训练的基座模型在评委评分中排名最后，但在因果审计中排名第二，这表明审计捕捉到了评委未能捕捉的信号。我们的结果表明，使用金融接地奖励信号的GRPO可以产生比商业LLM更有用的业务建议，并且独立于评委的因果审计是LLM-as-a-judge评估的有力补充，而非其佐证。

## 1引言

企业产生了大量财务记录，但将这些记录转化为具体、可操作的建议仍然是一个难题。有用的建议必须基于业务的具体数字，与业务财务目标一致，具有现实可操作性，并且实施起来安全。这些要求使得财务建议生成具有挑战性：输出是开放式的，质量是多维度的，而一条糟糕的建议会带来真实的业务风险。

监督式方法面临根本性障碍：历史业务决策并非最优的黄金标签。此外，从领域专家那里收集高质量的自由格式标注成本高昂且无法扩展。相比之下，强化学习提供了一种自然的替代方案：与其模仿过去的决策，不如直接训练模型去最大化一个编码了我们所关心性质的奖励[7](https://arxiv.org/html/2608.11787#bib.bib1)。

因此，我们将财务建议生成建模为强化学习问题，并使用组相对策略优化（GRPO）[12](https://arxiv.org/html/2608.11787#bib.bib6)微调一个开放权重语言模型。遵循RLAIF范式[9](https://arxiv.org/html/2608.11787#bib.bib7)，我们的奖励由LLM-as-a-judge评分规则提供，该规则在多个二值维度上对每条建议的文本质量进行评分，并辅以安全门防止危害。

基于评委的训练一个关键问题是奖励欺骗：模型可能学会满足评委，却无法产生真正有用的建议。为了解决这一问题，我们用独立于评委的审计补充基于评委的评估，该审计基于标准双重稳健条件平均处理效应（CATE）估计器[1](https://arxiv.org/html/2608.11787#bib.bib2)，从观测数据中估算遵循某条建议对毛利润的预期影响。在该审计下，我们经过GRPO训练的模型实现了所有评估策略中最强的商业基线的毛利润提升的约两倍，同时拥有最低的下行比率和最小的负尾部风险。审计还进一步揭示了，在基线之间，评委得分与估计的业务价值只是松耦合的，这支持将其用作真正独立的检查，而非对评委的印证。

在这项工作中，我们的主要贡献是：(1)基于评分规则、带安全门的GRPO财务建议：我们将自由格式的业务财务建议生成建模为强化学习问题，并使用金融专属的、带安全门的评分规则奖励来微调开放权重LLM；(2)自然语言到行动的因果审计：我们将生成的建议映射到固定的业务行动分类法中，并应用标准双重稳健CATE估计器来审计这些建议是否对应于历史上有益的行动；(3)针对商业和开放权重基线的双重评估，同时使用基于评委的评分规则得分和基于标准双重稳健CATE估计器的独立于评委的得分，并包含不确定性、下行比率和尾部风险指标；我们表明两种评估在我们的策略上一致，但在基线上出现分歧，并认为这种分歧本身就是审计并非评委代理的证据。

## 2相关工作

基于人类或AI反馈的强化学习已被广泛用于使LLM输出与期望性质对齐[9](https://arxiv.org/html/2608.11787#bib.bib7)。GRPO[12](https://arxiv.org/html/2608.11787#bib.bib6)通过在采样输出组内计算相对优势，避免了对单独价值模型的需求。虽然GRPO最初是为数学推理引入的，但此后已使用结构化评分规则奖励应用于更广泛的领域。与我们的设定最接近的是[3](https://arxiv.org/html/2608.11787#bib.bib8)，他们使用多准则评分规则奖励和GRPO进行科学推理。在金融领域，RL已被应用于阿尔法因子筛选[6](https://arxiv.org/html/2608.11787#bib.bib9)和交易等任务，但开放式业务建议生成尚未得到解决。

金融NLP工作主要集中在评测通用LLM上，发现它们仍然难以处理与金钱相关的推理[11](https://arxiv.org/html/2608.11787#bib.bib5)；[8](https://arxiv.org/html/2608.11787#bib.bib4)，并且当数值信号是核心时，传统模型可以胜过生成式LLM[4](https://arxiv.org/html/2608.11787#bib.bib3)。这些结果凸显了金融领域的难度，这激励我们专门针对业务建议训练一个模型，既在建议质量方面，也在依赖通用商业LLM所带来的延迟和成本开销方面。

为了在没有黄金标签的情况下训练这样的模型，我们依赖LLM评委作为奖励信号。然而，由评委奖励驱动的改进可能反映的是对评委偏好的适应，而非真实的业务价值，而且基于LLM的评估器已知会高估与其风格一致的系统[9](https://arxiv.org/html/2608.11787#bib.bib7)。因此，我们用基于标准双重稳健CATE估计器[10](https://arxiv.org/html/2608.11787#bib.bib10)；[2](https://arxiv.org/html/2608.11787#bib.bib12)；[5](https://arxiv.org/html/2608.11787#bib.bib11)；[1](https://arxiv.org/html/2608.11787#bib.bib2)的独立于评委的审计来补充基于评委的评估。

## 3方法

### 3.1问题建模

我们给定一个业务财务状态\(s\)，它概括了企业近期的财务数据（收入、销售成本、运营费用、供应商和产品线项目，以及近期趋势），以及一个目标\(g\)（我们专注于毛利润，尽管该框架支持任何财务KPI，如收入、速动比率或现金流）。目标是生成一条单一、结构化的建议\(a\)，如果实施，将改善\(g\)。每条建议以JSON对象形式输出，包含`recommendation`（具体行动）、`reasoning`字段，以及量化的`expected_impact`。

我们将建议生成视为强化学习问题，学习一个策略\(\pi_\theta(a\mid s,g)\)，将状态和目标映射到建议。这种框架源于该领域的两个性质。首先，每个企业记录的历史行动不是最优目标，因为它们反映了决策时可用的约束和不完整信息，因此监督模仿会传播次优行为。其次，建议是开放式的自然语言，排除了基于固定行动集的基于价值的方法。而RL让我们可以优化一个标量奖励，直接编码使建议有用的因素。

### 3.2 GRPO训练

我们使用组相对策略优化[12](https://arxiv.org/html/2608.11787#bib.bib6)优化\(\pi_\theta\)。对于每个提示\((s,g)\)，我们从当前策略中采样一组\(K\)个候选建议\(\{a_1,\dots,a_K\}\)，用3.3节的奖励函数对每个建议评分，得到奖励\(\{R_1,\dots,R_K\}\)，并通过在组内标准化奖励来计算组相对优势：

\[
A_i=\frac{R_i-\operatorname{mean}(R_1,\dots,R_K)}{\operatorname{std}(R_1,\dots,R_K)}.
\tag{1}
\]

然后使用裁剪的GRPO目标更新策略，这避免了训练单独的价值模型。图1展示了这一循环。我们还额外使用一个权重为\(\beta\)的KL惩罚将策略锚定到基座模型，我们发现这对防止训练期间策略漂移是必要的（3.3节）。

业务状态、目标\((s,g)\)策略\(\pi_\theta\)候选建议\(a_1,\dots,a_K\)奖励模型LLM-as-a-judge评分规则奖励\(R_1,\dots,R_K\)优势\(A_1,\dots,A_K\)策略更新

图1：GRPO训练循环。对于每个业务状态和目标\((s,g)\)，策略采样\(K\)条候选建议，每条建议由LLM-as-a-judge评分规则奖励打分，组内相对优势驱动策略更新。

### 3.3奖励设计

奖励由LLM评委（Claude Opus 4.5）提供，该评委按十一个二值标准的评分规则对建议进行评分：一个安全门加十个质量标准，这些标准组织为六个方面，总结于表1。每个标准独立判断为0或1。

表1：十一个二值评分规则标准：一个安全门（标准1）加上六个方面的十个质量标准（标准2-11）。相关性标准是目标条件化的，会根据当前目标指标进行调整。

安全门至关重要：如果实施该建议会对企业造成重大损害（例如，消除主要收入来源或造成不可持续的现金流风险），则该门会将奖励硬归零：

\[
c(a)=\begin{cases}
0 & \text{如果不安全},\\
\dfrac{1}{D}\sum_{d=1}^{D}\mathbf{1}[d\text{ 满足}] & \text{否则},
\end{cases}
\tag{2}
\]

其中\(D=10\)是质量标准数量。评分规则是目标条件化的：相关性标准会根据当前目标指标进行调整。

两个惩罚项塑造最终奖励。JSON无法解析的建议获得固定惩罚\(-0.5\)。此外，为了阻止退化性的过长推理，应用了一个思考长度惩罚\(p(a)\in[0,0.2]\)：在推理长度的软上限以下为零，在硬上限处线性上升到最大值。最终奖励为：

\[
R(a)=c(a)-p(a).
\tag{3}
\]

这两项都针对我们在早期运行中观察到的失败模式：没有KL锚定时策略会偏离基座模型，没有长度惩罚时推理轨迹会无界增长直到JSON输出崩溃。

### 3.4独立于评委的因果审计

训练奖励来自LLM评委。因此，更高的评委得分可能反映的是推荐对评委有吸引力，而非业务结果真正改善。为了检验这一点，我们用一种独立于评委的、对真实结果的效应估计来审计所学策略。该估计完全来自记录的观测数据。

关键步骤是从自由文本建议过渡到一种可估计因果效应的数量。一个独立的行动映射器（4.2节）将每条建议分配到离散业务行动；所得行动被视为*处理*，业务状态嵌入作为条件协变量，实现的同比毛利润增长作为结果。然后我们使用标准双重稳健（AIPW）估计器[10](https://arxiv.org/html/2608.11787#bib.bib10)；[2](https://arxiv.org/html/2608.11787#bib.bib12)；[5](https://arxiv.org/html/2608.11787#bib.bib11)；[1](https://arxiv.org/html/2608.11787#bib.bib2)估计策略行动的CATE，并报告估计提升，同时附带下行比率和尾部风险度量。我们将这些估计用作独立于评委的策略排序审计，而非已实际部署业务影响的证据。该估计器、倾向得分模型和结果模型以及行动映射器的细节见第4节。

## 4实验

### 4.1实验设置

#### 数据和模型。

我们使用记录的业务财务状态以及改善毛利润的目标进行训练。基座策略是Qwen3.5-27B，使用LoRA在DeepSpeed ZeRO-2下微调。训练数据中个人可识别实体被移除，并替换为合成替身：管线不是将不透明的掩码占位符留在状态中，而是替换为现实合理的合成供应商、账户和产品名称，这样模型在格式良好的业务文本上训练，同时不保留任何真实客户实体。GRPO对每个提示使用\(K=12\)个候选生成，最大完成长度为8,000个token，KL系数\(\beta=0.001\)，学习率\(5\times10^{-5}\)采用余弦调度，并使用双重稳健GRPO损失变体。评委奖励模型是Claude Opus 4.5。我们在留出验证奖励上选择最佳检查点。

#### 评估协议。

我们使用两种互补评估。第一种是LLM-as-a-judge评分规则得分（3.3节），在500家企业的留出集上报告，每家企业在5次独立试验（每个模型\(n=2,500\)）；我们报告每次试验均值的均值以及95%置信区间。第二种是因果离策略评估（3.4节），我们在下面实例化。我们将与商业LLM（Claude Opus 4.5/4.6、Claude Sonnet 4.5、GPT-5.4）以及未训练的Qwen3.5-27B基座模型进行比较。

### 4.2因果估计器实例化

我们从记录数据中估计策略所推荐行动对同比毛利润增长的影响。处理是*按行动*定义的：对于目标行动\(a\)，设\(A\in\{0,1\}\)表示\(a\)是否被采取，这样被处理组包含遵循该建议的历史记录。