以安全为约束：微调LLM推荐模型以实现自我解释

# 安全约束：微调大语言模型推荐系统以实现自我解释

来源：https://arxiv.org/html/2609.13657  
作者：何嘉树††感谢：实习于Netflix期间完成的工作。通讯作者：孔彦阳  
所属机构：Netflix  
邮箱：[[email protected]](mailto:)  
詹JJ  
所属机构：Netflix  
邮箱：[[email protected]](mailto:)  
法尼根David Fagnan  
所属机构：Netflix  
邮箱：[[email protected]](mailto:)

###### 摘要  
传统的推荐系统通常被训练来预测用户接下来会与哪些物品交互，但不会解释原因。然而，提供个性化的证据来说明用户为何可能喜欢预测的物品，是提升服务质量并增加用户真正对推荐感兴趣可能性的重要途径。这项服务可以通过在面向会员的流程中集成前沿模型调用来实现，但这会带来额外的成本和延迟。在本文中，我们训练了一个推荐大语言模型，基于大型视频流媒体服务中用户的观看历史，为其推荐生成个性化解释。我们对生成的解释施加了两项要求：必须忠实于其链接的节目内容要素，并且必须严格不对用户造成伤害。为此，我们首先训练了两个大语言模型裁判奖励模型，涵盖三个具体标准，并提出了约束GRPO以整合这些不同的标准。在一个保留的真实世界测试集上，我们微调后的模型在自有裁判下将三项标准全部通过率从0.649提升至0.956，在独立裁判下从0.677提升至0.931，而前沿生成器的表现与未调优的推荐基线相似。我们进行了进一步实验，以证明模型的语言和推荐能力保持不变。基于这些结果，我们得出结论：基于大语言模型的推荐系统可以在不损害其原始推荐性能的情况下，针对其他复杂任务进行微调，从而为单一模型驱动的更智能用户界面提供了见解。

## 1 引言  
现代推荐系统通常专注于训练模型以准确预测用户接下来会对哪些物品感兴趣，而不解释该物品为何特别适合用户。先前的研究表明，解释能使用户更有可能接受和点击推荐物品，因为它提高了用户对推荐系统的信任度和满意度（Herlocker等人，2000 (https://arxiv.org/html/2609.13657#bib.bib39)；Tintarev和Masthoff，2007 (https://arxiv.org/html/2609.13657#bib.bib40)；Kunkel等人，2019 (https://arxiv.org/html/2609.13657#bib.bib41)；Shao等人，2021 (https://arxiv.org/html/2609.13657#bib.bib42)；Feng等人，2026 (https://arxiv.org/html/2609.13657#bib.bib43)）。  
在本文中，我们训练了一个内部推荐大语言模型，为视频流媒体服务生成个性化的推荐解释。具体而言，我们专注于利用用户观看类似节目的历史来解释每个推荐。例如，“如果您喜欢[参考节目]，请观看此内容。”  
推荐解释必须满足特定的质量要求。解释必须同时满足两项要求。它必须**忠实**：其强调的共同要素必须真实存在，且对**两个**标题都真正相关。同样关键的是，它必须**无害**：应避免冒犯性，或与任何潜在用户群体产生敏感联想。这项无害性要求不同于用于对齐前沿模型的更广泛的安全标准。例如，“如果您是喜欢[节目]的聪明人，请观看”在前沿模型裁判看来是安全的，因为它不包含冒犯性词汇，但它暗示只有“聪明人”才应该观看该节目，这是不可接受的。  
为了构建用于在线强化学习训练并评估生成解释质量的奖励模型，我们在一个开源的8B骨干网络上微调了两个基于LoRA的裁判，每个裁判专门负责两个评估标准之一。在做出最终决定之前，每个裁判都会生成一个思维链推理来解释决定。然后，我们使用此推理来验证裁判的推理是否与人类标注员关于解释为何被接受或拒绝的推理相符。  
参见图1标题：  
图1：上部：我们的端到端微调流程：我们通过引用用户之前观看过的类似节目来解释推荐。我们微调了两个基于大语言模型的裁判，根据三个标准评估生成的解释，并应用原始-对偶优化来提高忠实性奖励，同时遵守无害性约束。下部：微调后的大语言模型可以恰当地描述LGBTQ剧集，不会造成刻板印象或冒犯。  
对于生成器微调，我们没有应用标准GRPO（Shao等人，2024 (https://arxiv.org/html/2609.13657#bib.bib13)）并使用一个在忠实性和无害性上平均的奖励，而是引入了约束GRPO公式。在此设置中，我们将忠实性作为主要目标进行优化，并将两个无害性标准作为约束强制执行。这些约束通过其关联的拉格朗日乘子进行自适应收紧或放宽，具体取决于当前策略满足约束的程度。  
我们将微调后的裁判模型与前沿模型进行了全面比较。为了评估生成器，我们使用我们微调后的裁判以及基于前沿模型大语言模型的领域外裁判对其生成的解释进行评分。  
我们的贡献如下：  
(i) 一种可用于部署的微调大语言模型推荐器以解释其自身选择的流程，在检索和排名任务上无性能退化。保留的真实世界测试集上三项标准全部通过的比例在我们的裁判下从0.649提升至0.956，在独立的基于前沿模型的大语言模型裁判下从0.677提升至0.931，始终优于前沿模型生成器。  
(ii) 我们引入了约束GRPO以适应不同的现实世界标准。在线强化学习算法在训练过程中根据当前策略满足不同奖励信号的程度进行调整。拉格朗日乘子在训练信号上执行灵活的加权平均，而不是依赖于跨奖励的固定、人类指定的权重。  
(iii) 我们的奖励模型是评估解释质量的有效推理者。它们在所有三个标准上判断解释质量时始终优于前沿模型。在捕获的负例上，它们的推理比前沿裁判更频繁地与标注员的推理一致。

## 2 奖励建模  
#### 两个模型，三个标准。  
无害性奖励模型评估我们关心的两个标准，以确定生成解释中语言的冒犯性或敏感性程度。由于我们对两个标准使用相同的模型，我们只需根据评估的标准在提示中提供不同的定义。忠实性使用单独的裁判。我们采用这种设计，因为冒犯性和敏感性都是与安全相关的标准，因此模型需要学习我们关心的具体安全要求。而忠实性是一个不同的标准：模型必须学会识别基于节目元数据将两个节目联系起来的共同要素。  
#### 微调配方  
我们在同一个开源8B基础模型上使用LoRA（Hu等人，2022 (https://arxiv.org/html/2609.13657#bib.bib32)）微调两个裁判。我们避免使用生成器自身的骨干作为其裁判，因为我们希望评估器独立于它评分的策略，因此我们使用原始开源模型作为骨干，而不是内部推荐模型。训练数据包括人类标注的解释；每个解释被分配三个标准标签以及描述每个标签背后推理的标注员笔记。我们将数据集划分为80/10/10的训练/开发/测试集，确保每个分割包含大约70%的PASS案例，以防止奖励黑客攻击。我们首先对包含推理和正确标签的目标序列进行SFT（监督微调），然后移除人类编写的推理，仅依赖模型的预测标签运行GRPO（Shao等人，2024 (https://arxiv.org/html/2609.13657#bib.bib13)）在线强化学习。  
#### 我们关心的安全阈值与前沿模型和开源模型的对齐目标有很大不同。  
表1 (https://arxiv.org/html/2609.13657#S2.T1)报告了两个裁判在真实世界保留测试集上的性能。在无害性方面，调优后的裁判达到了0.939的CATCH-A-FAIL率，这意味着我们成功识别了93.9%的负样本，而基于前沿模型的裁判在相同提示下仅达到0.778。这一差距源于前沿裁判在分配FAIL标签时更为保守。总体而言，这突显了微调我们自有模型的必要性：我们在生产中要求的有害性标准与前沿模型对齐的传统RLHF（基于人类反馈的强化学习）安全设置有显著不同。  
未调优的开源模型行为相反：它在预测FAIL时非常激进，这使其具有很高的CATCH-A-FAIL率，但准确率和精确率非常低。这是因为它过于敏感，将任何生动的措辞都标记为违规，即使解释符合情节和相应节目的成人评级。  
#### 测试时缩放提高了我们的忠实性标准。  
我们发现，在贪婪解码下，我们的忠实性裁判检测到82%的FAIL案例。我们旨在将此比率进一步提高到90%以上，因为我们不希望用户接触到任何有害内容。因此，我们应用FAIL@8进行测试时缩放。具体来说，我们对同一测试样本执行8次，如果任何一次运行产生FAIL结果，则将其标记为FAIL。结果，我们取得了比前沿裁判更统一的性能，我们在强化学习微调和生成器评估中始终应用此配置于忠实性标准。  
#### 我们的奖励模型比前沿模型裁判更频繁地与人类推理匹配。  
我们通过比较我们的模型与人类标注员编写的解释来评估推理质量。首先，我们发现所有调优后的裁判都具有完美的推理-标签一致性（1.000）。此外，对于每个裁判正确标记的违规，我们模型的推理比前沿裁判的更接近标注员提出的反对意见：在无害性方面为0.957对比0.948，在忠实性方面它们达到相似的一致率。  
表1：真实世界保留测试集上的奖励建模结果。这里parse是裁判输出产生有效标签的比例，acc是所有测试行的准确率，P−、R−、F1−分别是FAIL类的精确率、召回率和F1分数。Catch-a-FAIL (R−) 是我们最感兴趣的生产指标。⋆标记每个面板选择的奖励设置；Δ行给出其与未调优基础模型和前沿模型的差异。

## 3 生成器预热  
生成器的优化分为两个阶段：第一阶段是监督预热阶段，模仿已被验证满足所有三个标准的解释；第二阶段是第4节 (https://arxiv.org/html/2609.13657#S4) 描述的约束强化学习程序。  
为了构建SFT数据集，我们首先提示前沿模型生成候选解释，然后要求人类标注员根据三个标准对其进行评分。我们只保留通过所有三个检查的高质量生成。这产生了952个独特的高质量解释，我们将其分为857/95的训练集和验证集。我们仅在助手回合计算交叉熵损失。适配器故意保持较小（LoRA r=16, α=32），因为过拟合的预热会减少强化学习所需的输出多样性。

## 4 约束强化学习  
我们将忠实性视为最大化的主要目标，同时将两个无害性措施作为不得违反的严格约束来执行。换句话说，我们的目标是在满足安全要求不低于指定阈值的约束优化区域内，尽可能提高忠实性。  
相应地，我们将学习目标表述为一个约束优化问题，并微调策略πθ：  
max_θ E[R_fact] s.t. E[R_c] ≥ τ_c, c ∈ {bias, off},   (1)  
期望遍历提示和生成轨迹。  
为了解决这个约束优化问题，我们引入拉格朗日乘子λ ≥ 0，通过交替执行原始策略步骤（针对惩罚奖励r(o) = R_fact(o) - ∑_c λ_c (1 - R_c(o))）和对每个残差进行投影上升来近似拉格朗日鞍点：  
λ_c ← max(0, λ_c + η_λ (τ_c - Ê[R_c])),   (2)  
我们通过评估SFT预热模型来确定阈值，然后将它们设置在略低于其达到的水平。原始梯度使用GRPO（Shao等人，2024 (https://arxiv.org/html/2609.13657#bib.bib13)）进行估计：对于每个提示的G个生成轨迹，我们计算组归一化的优势，然后相对于合并的预热策略应用KL裁剪更新步骤。由于我们减去了组均值，安全项仅在生成轨迹不一致的标准上调整优势。  
这种原始-对偶方法在整个学习过程中提供了非常灵活的、每个约束的控制。约束通过更新拉格朗日乘子影响训练。如果当前策略违反某个约束，相关的乘子会根据公式(2)增加，这提高了该约束在后续优化步骤中的重要性。相反，当约束被充分满足时，其乘子会减少，或在完美满足时降至0，该约束变为不活跃状态，允许将更多梯度分配给剩余的活跃约束和主要学习目标。相比之下，标量化奖励预先锁定了权衡。  
我们评估了四种变体，它们仅在直接优化的奖励与通过约束强制执行的奖励比例上有所不同。  
- **标量化**：固定总和0.4R_fact + 0.3R_off + 0.3R_bias，所有奖励均被表述为直接优化的奖励。  
- **约束-偏见**：优化0.7R_fact + 0.3R_off，将偏见作为一个对偶约束（τ_bias = 0.99）。  
- **约束-有害**：公式(1)针对两个无害性相关标准设置了两个独立的约束（τ_bias / τ_off = 0.97 / 0.90）。  
- **约束-联合**：在对每个样本的合取E[R_bias R_off] ≥ 0.98施加单一约束的同时优化忠实性。此约束惩罚每个样本违反任一无害性相关标准的行为，而其他两个约束变体则使用基于平均的标准。