策略梯度引导：来自行为目标的干预

# 策略梯度引导：来自行为目标的干预
来源：https://arxiv.org/html/2607.27574
###### 摘要

激活引导已成为大语言模型中一种轻量级方法，可在推理时动态改变模型行为。然而，我们表明，现有引导方法甚至无法在双路线网格世界环境中引导一个简单策略。为解决这一限制，我们提出策略梯度引导（PGS），将引导形式化为一个强化学习问题。PGS在少量轨迹或演示上累积临时行为目标的梯度，以构建一个可移除的任务向量。我们首先在双路线网格世界环境中演示PGS的校准性和可逆性。然后使用国际象棋谜题，我们评估独立拟合的PGS向量在单独和组合情况下的表现，发现兼容的战术目标会建设性地累积。最后，在竞技足球中，我们表明PGS可以改变特定团队行为，且其效果可跨对手迁移。总之，这些结果表明，策略梯度为跨不同决策领域构建临时且可组合的行为适应提供了一种自然接口。

## 1 引言

训练好的策略通常针对训练期间固定的目标进行优化。尽管某些策略暴露了以偏好或回报为条件的控制（[Abels等人，2019](https://arxiv.org/html/2607.27574#bib.bib249)；[Chen等人，2021](https://arxiv.org/html/2607.27574#bib.bib259)），但固定的已部署策略可能不提供此类接口。然而，在部署后，我们可能希望施加新的行为偏好，例如偏好一种有效策略而非另一种，而无需重新训练或永久修改基础策略。挑战在于将一小段在此临时目标下评分的轨迹转化为可在推理时应用、缩放和移除的可控干预。

现有的激活引导方法通常从与对比示例或轨迹结果相关的表征中构建干预（[Rimsky等人，2024](https://arxiv.org/html/2607.27574#bib.bib256)；[Miao等人，2026](https://arxiv.org/html/2607.27574#bib.bib238)）。这种构建对前馈策略（如MLP）可能失败，因为它们决策前的激活仅取决于当前观测。当轨迹从同一观测出发分叉时，它们的激活仅在到达不同状态后才产生差异。正如我们的双路线网格世界所示，由此产生的对比可能编码下游状态访问，而无法控制分支动作。

为解决这一限制，我们引入策略梯度引导（PGS），它使用策略梯度将轨迹上的行为反馈转化为加性激活干预。PGS不是对比结果分叉后到达的表征，而是将信用分配给产生这些结果的动作，并将由此产生的激活梯度聚合成单一引导向量。该向量可以在推理时进行缩放、组合和移除，而基础策略保持冻结。

图1：策略梯度引导方法概述。激活梯度从一小批评分轨迹中累积，以构建加性引导向量。

PGS介于激活引导和策略微调之间。与对比激活方法一样，它提供轻量级的推理时控制，而无需修改基础策略（[Rimsky等人，2024](https://arxiv.org/html/2607.27574#bib.bib256)；[Miao等人，2026](https://arxiv.org/html/2607.27574#bib.bib238)）。然而，与策略微调和习得式适应（如ReFT和LoRA）一样，它通过优化行为目标来推导干预（[Xie等人，2021](https://arxiv.org/html/2607.27574#bib.bib265)；[Wu等人，2024](https://arxiv.org/html/2607.27574#bib.bib241)；[Hu等人，2022](https://arxiv.org/html/2607.27574#bib.bib270)）。这引发了一个进一步的问题：独立构建的行为干预能否在不重新训练的情况下组合，正如先前工作对参数和激活干预所探索的那样（[Ilharco等人，2023](https://arxiv.org/html/2607.27574#bib.bib214)；[Pfeiffer等人，2021](https://arxiv.org/html/2607.27574#bib.bib266)；[Stolfo等人，2025](https://arxiv.org/html/2607.27574#bib.bib267)）。我们直接在国际象棋中研究这种组合性质。

我们在三个呈现不同挑战的环境中评估PGS。双路线网格世界隔离了基于结果的对比的动作信用失败。国际象棋测试独立拟合的战术干预在组合下以及在不同技能水平的策略之间是否保持其效果。竞技足球将评估扩展到多智能体策略，其中干预效果可能取决于受控策略及其战略背景。

#### 贡献。

1. 策略梯度引导：一种方法，通过将信用分配给策略的动作而非结果后的表征，将轨迹上的任意标量反馈转换为可移除的激活干预。
2. 一项受控的网格世界分析，表明基于结果的激活对比可以编码决策后到达的状态，而不控制决策本身，并通过与对比引导方法和习得式适应的比较得到支持。
3. 一项跨国际象棋和竞技足球的实证评估，考察紧凑的行为干预如何跨目标组合，以及其效果如何依赖策略背景。

## 2 背景

### 2.1 训练后的行为适应

对于训练好的策略 \\(\pi_{\theta_0}(a\mid o)\\)，我们首先考虑依赖额外优化的行为适应。

#### 微调和参数任务向量。

在强化学习中，策略微调已被研究为可访问参考策略的在线学习（[Xie等人，2021](https://arxiv.org/html/2607.27574#bib.bib265)）。我们的微调基线通过在新指定的行为目标下从预训练参数继续优化来更新策略权重。当基础策略和适应策略共享架构时，任务算术将此优化的效果表示为参数差（[Ilharco等人，2023](https://arxiv.org/html/2607.27574#bib.bib214)）：

\tau_{b}=\theta_{b}-\theta_{0}, (1)

其中 \\(\theta_{b}\\) 表示微调后的权重。所得任务向量可按强度 \\(\alpha\\) 应用为

\theta(\alpha)=\theta_{0}+\alpha\tau_{b}. (2)

这种表示允许适应被缩放、取反或与参数空间中的其他适应组合。

#### 低秩调整。

低秩调整将适应限制在一组紧凑的任务特定参数上。LoRA学习策略权重的低秩更新（[Hu等人，2022](https://arxiv.org/html/2607.27574#bib.bib270)），而ReFT冻结权重并学习对隐藏表征的低秩干预（[Wu等人，2024](https://arxiv