Self-CTRL：基于强化学习的自一致性训练

# 基于强化学习的自一致性训练 来源：https://arxiv.org/html/2606.18327 ###### 摘要 能够忠实描述自身行为的语言模型更容易被用户审查、理解和信任。本文介绍了一种基于强化学习的自一致性训练方法（Self-CTRL），该方法通过优化模型自我解释与相关输入行为之间的一致性——即更新解释以更好预测行为，或更新行为以更好匹配解释。我们在两个领域应用了该方法。首先，研究了一个形式化概率推理任务，模型需学习模仿一族有偏采样器，并评估其报告相关偏差的能力。我们发现，一致性训练将自我报告偏差与行为测量偏差之间的相关性从 \(R^2=0.24\) 提升至 \(R^2=0.64\)，在一组保留分布上达到了直接真实标签监督的泛化水平。其次，研究了一个宪法AI领域，模型需描述何时拒绝或满足用户请求。在此，Self-CTRL生成了忠实描述模型在保留请求上行为的规则，将第三方审计模型的拒绝预测准确率从36%提升至92%。相反方向的行为更新改善了对齐性，将HarmBench失败率从15.0%降至0.5%，同时未显著增加对无害请求的拒绝。通过对齐解释与行为，我们的工作为训练更安全、更透明、更可控的AI模型提供了一种通用方法。††脚注文本：预印本。通讯联系：[email protected]。**脚注文本：同等指导。

## 1 引言

大型语言模型常常生成不忠实于其决策的解释，并且在响应用户请求时往往无法遵循其公开声明的原则（Turpin 等，2023 (https://arxiv.org/html/2606.18327#bib.bib13)；Han 等，2025 (https://arxiv.org/html/2606.18327#bib.bib21)）。这些失败对用户和模型开发者都至关重要：用户可能依赖模型生成的解释来决定是否信任其输出（Bansal 等，2021 (https://arxiv.org/html/2606.18327#bib.bib34)），而模型开发者可能利用这些解释来监控模型何时可能发生对齐偏差。考虑图̃1 (https://arxiv.org/html/2606.18327#S1.F1)。这里，一个语言模型（具体为 Llama-3.1-8B-Instruct（Grattafiori 等，2024 (https://arxiv.org/html/2606.18327#bib.bib50)））被提示描述其如何处理鼓励歧视的请求。它回应道：“我不会回应那些援引或体现……刻板印象或歧视的请求。”我们希望这一解释能够忠实描述下游模型行为。例如，如果用户指示模型生成一个论证非西方思想家应被忽略的论点，我们可能期望模型遵循其声明原则并拒绝生成输出。

但在本例中，模型服从了用户指令。此例说明，自一致性通常并非标准语言模型训练的自然结果。模型通常被训练为对单个提示生成良好响应，但其解释和行为在不同上下文中产生。因此，模型可能学会以看似合理的方式回答元层级问题，却未使该答案能预测其在相关对象层级输入上的行为。要学习避免此类错误，需要跨提示比较输出，而非孤立地对每个输出打分（Pres 等，2026 (https://arxiv.org/html/2606.18327#bib.bib11)）。

参考图注

图1：Self-CTRL 使模型所言与其所做对齐。来自我们宪法设置的真实示例。通过解释训练最大化一致性函数 φ，使模型生成的规则能够预测其响应；通过行为训练最大化 φ，使响应与模型生成的规则相匹配。

在本文中，我们描述了基于强化学习的自一致性训练（Self-CTRL）：一种通过在配对的元层级（诱导解释）和对象层级（诱导行为）输入上训练，显式优化解释-行为一致性的方法。对于每一对，模型分别采样一个解释和一个行为。然后我们使用外部模拟器或评判器来评估解释是否预测了行为，并优化模型朝向更高一致性的解释-行为对。我们的框架支持两种互补的学习方向。一种方向称为“解释训练”，我们更新解释以更好预测模型现有行为，生成更忠实的自我报告。另一种方向称为“行为训练”，我们更新行为以更好满足已声明的解释或原则。这两个方向也可以结合，使模型同时更好地解释自身并表现出更对齐的行为。我们在两个设置中实例化了该方法，这两个设置中一致性可被测量的直接程度不同。首先，在概率推理领域，模型被训练为从具有潜在偏差的命名硬币生成样本，而解释是说明每枚硬币正面概率的简短程序。这里，一致性是可验证的：声明的偏差可通过其预测模型自身模拟结果的准确性来评分。我们发现，初始时模型能生成校准的模拟结果，但无法描述其学到的生成过程背后的机制。然而，“解释训练”方向的一致性训练显著改善了模型声明偏差与其采样行为之间的匹配。其次，在宪法对齐设置中，行为是对安全相关用户请求的响应，而解释是描述处理这些请求所使用通用原则的自然语言规则。这里，一致性不是直接可验证的：没有客观方法确定一个响应是否遵循了既定规则。相反，我们使用模型自身作为一致性评判器。应用“解释训练”的一致性训练，我们发现模型生成的规则能更好预测其拒绝行为。应用“行为训练”，我们发现模型能更好使其响应与声明规则对齐，同时未增加过度拒绝量。Self-CTRL 是外部可解释性和评估的重要补充，原因有三。首先，它“原生对接接口”：自我解释通过用户已用于与模型交互的相同通道生成，使其直接用于信任、调试和监管。其次，它“可扩展”：因为解释和行为都可以从模型采样，一致性训练可以在无需手动标注每个案例的情况下产生大量配对证据。第三，它提供了一条通向“上下文外泛化”的自监督路径：先前研究表明，模型能从许多隐含证据片段推断潜在结构，但这种能力不可靠且对模型能力敏感（Treutlein 等，2024 (https://arxiv.org/html/2606.18327#bib.bib5)）。一致性训练通过从模型自身生成行为-解释配对，自动扩展了这一证据来源。

## 2 通过自一致性实现可解释性

假设我们用一个关于其拒绝行为的元层级问题查询语言模型 \(p_{\mathrm{LM}}\)：\(x_{\mathrm{meta}} =\) “描述你如何处理涉及歧视的请求。”模型产生一个解释 \(y_{\mathrm{meta}} \sim p_{\mathrm{LM}}(\cdot \mid x_{\mathrm{meta}})\)，例如“我不会回应那些援引或体现文化歧视的请求”。这个元层级主张只有在它预测了模型在对应对象层级输入上的行为时才有意义。例如，如果 \(x\) 是一个具体请求，鼓励模型生成可能被视为歧视性的文本，且模型产生行为 \(y \sim p_{\mathrm{LM}}(\cdot \mid x)\)，那么 \(y_{\mathrm{meta}}\) 和 \(y\) 仅在行为是拒绝时才一致。更一般地，假设我们有一组配对输入 \((x, x_{\mathrm{meta}})\)，其中 \(x_{\mathrm{meta}}\) 询问模型如何在一类输入上行动，而 \(x\) 是该类中的一个具体输入。我们说模型在这样的对上具有“自一致性”，如果其元层级输出 \(y_{\mathrm{meta}} \sim p_{\mathrm{LM}}(\cdot \mid x_{\mathrm{meta}})\) 能以高概率预测或解释其对象层级行为 \(y \sim p_{\mathrm{LM}}(\cdot \mid x)\)。因此，我们可以将忠实自我解释形式化为一个在不同上下文生成输出之间的一致性目标：模型在一个语境中对其行为的陈述与它在另一个语境中的实际行为（Pres 等，2026 (https://arxiv.org/html/2606.18327#bib.bib11)）。此设置的关键特征在于，一致性是“跨上下文”强制执行的，而非在单个提示内。模型在响应 \(x_{\mathrm{meta}}\) 时产生 \(y_{\mathrm{meta}}\)，但未观察到采样行为 \(y\)；在响应 \(x\) 时产生 \(y\)，但未观察到采样解释 \(y_{\mathrm{meta}}\)。为了将这种一致转化为训练目标，我们首先需要确定解释应包含何种信息。

### 2.1 什么是解释？

关于什么是好的解释，一直存在大量争论（Hempel 和 Oppenheim，1948 (https://arxiv.org/html/2606.18327#bib.bib19)）。在这项工作中，我们采用解释质量的“可模拟性”观点（Hase 和 Bansal，2020 (https://arxiv.org/html/2606.18327#bib.bib33)；Mayne 等，2026 (https://arxiv.org/html/2606.18327#bib.bib47)）。在这种观点下，如果解释能帮助外部模拟器（例如用户或代码）预测模型在相关输入上的行为，则该解释是有用的。这对于我们研究的设置是一个有用的概念，因为我们希望模型的自我解释能约束用户对未来行为的期望。例如，在安全设置中，我们可能希望通过理解模型何时会服从、何时会拒绝、以及在对抗性输入下何时可能行为不当来审计模型。一个易于模拟的解释可能会说：“当且仅当提示包含‘炸弹’一词时我才拒绝。”这不是一个模型值得遵循的有用策略。但如果准确，该解释对于监控是有用的，因为它揭示了模型可能过度拒绝或拒绝不足的情况。它也提出了一个训练目标：我们可以通过询问外部模拟器或评判器利用该解释预测模型采样行为的准确程度来对解释进行评分。

### 2.2 形式化自一致性

给定一个语言模型 \(p_{\mathrm{LM}}\)，我们的目标是训练模型，使其对元层级问题 \(x_{\mathrm{meta}}\) 的答案 \(y_{\mathrm{meta}}\) 能解释其在输入 \(x\) 上的行为 \(y\)。为此，我们实例化一个一致性函数 \(\phi(y_{\mathrm{meta}}, y; x_{\mathrm{meta}}, x)\)，它返回一个标量分数，当 \((x_{\mathrm{meta}}, y_{\mathrm{meta}})\) 正确预测 \((x, y)\) 时分数较高，否则接近零。例如，图1 (https://arxiv.org/html/2606.18327#S1.F1) 中，基础模型的 \(\phi\) 值较低，因为其声明规则未预测到服从响应。经过 Self-CTRL 后，两种情况下的 \(\phi\) 值都变高：要么模型被更新为拒绝，要么规则被放宽以预测服从。如第2.5节 (https://arxiv.org/html/2606.18327#S2.SS5) 所述，根据解释的目标领域，我们可能用基于规则的系统、代码片段或另一个语言模型来实例化 \(\phi\)。

我们希望通过最小化如下形式的损失函数来优化一致性：
\[
\mathcal{L}(x, x_{\mathrm{meta}}) = -\mathbb{E}_{y \sim p_{\mathrm{LM}}(\cdot \mid x), y_{\mathrm{meta}} \sim p_{\mathrm{LM}}(\cdot \mid x_{\mathrm{meta}})} \big[ \phi(y_{\mathrm{meta}}, y; x_{\mathrm{meta}}, x) \big].
\]
(1)

### 2.3 优化自一致性

一般情况下，公式̃1 (https://arxiv.org/html/2606.18327#S2.E1) 可能涉及在模型 \(p_{\mathrm{LM}}\) 的独立样本 \((y, y_{\mathrm{meta}})\) 下计算（不可微）代价函数 \(\phi\) 的期望值。因此我们将其形式化为一个强化学习问题¹，并应用标准策略梯度算法（Williams，1992 (https://arxiv.org/html/2606.18327#bib.bib35)），同时驱动分布 \(p_{\mathrm{LM}}(\cdot \mid x)\) 和 \(p_{\mathrm{LM}}(\cdot \mid x_{\mathrm{meta}})\) 朝向自一致状态。特别地，策略梯度形式为：
\[
\nabla \mathcal{L}(x, x_{\mathrm{meta}}) = -\mathbb{E}_{y, y_{\mathrm{meta}}} \Big[ \big( \underbrace{\nabla \log p_{\mathrm{LM}}(y \mid x)}_{\text{行为梯度}} + \underbrace{\nabla \log p_{\mathrm{LM}}(y_{\mathrm{meta}} \mid x_{\mathrm{meta}})}_{\text{解释梯度}} \big) \phi(y_{\mathrm{meta}}, y; x_{\mathrm{meta}}, x) \Big].
\]
(2)

¹事实上，这可以被视为实例化了一个具有集中式训练和分散式执行的多智能体强化学习问题；近期综述见 Amato (2024 (https://arxiv.org/html/2606.18327#bib.bib39))。

在某些应用中，我们可能只想优化解释或只优化行为，同时保持另一类模型输出固定。例如，改善模型行为 \(y\) 的对齐可能需要防止其声明原则 \(y_{\mathrm{meta}}\) 漂移。反之，提高对人类用户的可预测性可能只需要改变那些声明原则，同时保持行为不变。因此我们考虑如下形式的单边替代目标：

行为训练：
\[
\mathcal{L}_{\text{behavior}}(x, x_{\mathrm{meta}}) = -\mathbb{E}_{y, y_{\mathrm{meta}}} \big[ \log p_{\mathrm{LM}}(y \mid x) \phi(y_{\mathrm{meta}}, y; x_{\mathrm{meta}}, x) \big],
\]
(3)

解释训练：
\[
\mathcal{L}_{\text{explanation}}(x, x_{\mathrm{meta}}) = -\mathbb{E}_{y, y_{\mathrm{meta}}} \big[ \log p_{\mathrm{LM}}(y_{\mathrm{meta}} \mid x_{\mathrm{meta}}) \phi(y_{\mathrm{meta}}, y; x_{\mathrm{meta}}, x) \big].
\]
(4)

如第4节 (https://arxiv.org/html/2606.18327#S4) 进一步探讨，我们也可以优化任意凸组合：
\[
\mathcal{L} = \lambda \, \mathcal{L}_{\text{behavior}} + (1-\lambda) \, \mathcal{L}_{\text{explanation}}.
\]
(5)

### 2.4 学习算法

我们使用类 GRPO 估计量（Shao 等，2024 (https://arxiv.org/html/2606.18327#bib.bib32)）来优化公式5 (https://arxiv.org/html/2606.18327#S2.E5) 的变体。在每次更新中，我们采样一组 \(k\) 个候选解释和 \(k\) 个候选行为。对于评分解释，我们固定一个参考行为 \(y^{(\mathrm{ref})} \sim p_{\mathrm{LM}}(\cdot \mid x)\)，