LLM 代理的双轴策略优化：Bayesian Feedback Attribution 和 Trajectory Mass Normalization

# 面向LLM智能体的双轴策略优化：贝叶斯反馈归因与轨迹质量归一化
来源：https://arxiv.org/html/2609.19830
Binhe Yu 单位：浙江大学  
Jingxiao Yang 单位：浙江大学  
Ruopei Sun 单位：中国科学技术大学  
Ziting li 单位：新南威尔士大学  
Cheng Tan 单位：浙江大学  
Xuhong Zhang 单位：浙江大学  
Jianwei Yin 单位：浙江大学  
Jintao Chen 单位：浙江大学  
单位：上海人工智能实验室  
\*同等贡献

###### 摘要

针对LLM智能体的强化学习涉及两个不同的优化维度：轨迹内如何利用环境反馈，以及跨批次如何聚合完整轨迹。我们将其表述为**轨迹内反馈归因**与**轨迹间目标聚合**，并提出**BATON**（贝叶斯归因与轨迹目标归一化）这一双轴策略优化框架。BATON通过贝叶斯反馈归因实例化第一轴，该归因构建基于反馈条件的后验分布，同时通过轨迹质量归一化（TMN）实例化第二轴，为完整轨迹分配均衡的优化质量。在ALFWorld、WebShop和SearchQA上使用GRPO和GiGPO进行的实验表明，两个轴均能带来独立增益，且它们的组合在不同模型规模下均能持续实现最佳整体性能。

## 1 引言

强化学习正越来越多地用于训练LLM智能体，使其通过多轮交互进行推理、工具调用和行动，而非仅生成单一响应。提示增强与工具增强型智能体已在具身、网络、软件和对话环境中运行（Yao et al., 2023；Schick et al., 2023；Shridhar et al., 2021；Yao et al., 2022；Wang et al., 2022；Yang et al., 2024），而近期基准测试揭示了日益增长的长程异构交互轨迹（Liu et al., 2023；Ma et al., 2024；Zhou et al., 2023b；Deng et al., 2023；Drouin et al., 2024；Lù et al., 2024；Yao et al., 2024）。除提示与监督式轨迹调优外（Zeng et al., 2023），近期研究越来越多地通过强化学习直接优化智能体策略（Qi et al., 2024；Wang et al., 2025；Feng et al., 2025；Zeng et al., 2025a；Luo et al., 2025）。

LLM的策略优化已从基于PPO的RLHF（Schulman et al., 2017；Ouyang et al., 2022）迅速发展至无需评论器的群体目标方法，如RLOO和GRPO（Ahmadian et al., 2024；Shao et al., 2024），并伴随裁剪、归约和序列级优化的改进（Yu et al., 2025；Liu et al., 2025；Hu, 2025；Zheng et al., 2025a）。然而在多轮智能体中，优化作用于结构化轨迹——每个行动后接环境观测。这引出两个概念上不同的问题：观测到的反馈应如何影响轨迹内的学习信号，以及完整轨迹应如何跨批次贡献目标。我们将这两个维度称为**轨迹内反馈归因**与**轨迹间目标聚合**。

这一区分在变长交互中尤为明显。如图1所示，不成功轨迹通常比成功轨迹长得多。对延长失败案例的检查显示存在重复无效行动、误读状态变化及在满足必要约束前采取行动等行为——这些行为与环境反馈利用不足相符。同时，全局有效令牌平均化产生了单独的优化效应：包含更多有效策略令牌的轨迹按比例获得更大的标量质量。在我们的训练数据中，ALFWorld中最长的25%轨迹占聚合质量的60.3%，WebShop中为42.2%。因此，延长失败揭示了两个不同的学习挑战：反馈可能在局部未被充分利用，而长轨迹可能同时在全局主导聚合。测量到的聚合失衡本身并未确立失败的行为原因；它促使我们分别处理这两个维度。

> 图1：BATON的动机。平坦的令牌级聚合赋予过长轨迹不成比例的优化质量，这促使对反馈归因和轨迹聚合进行独立处理。

我们提出**BATON**（贝叶斯归因与轨迹目标归一化），这是一个面向多轮LLM智能体的双轴策略优化框架。对于轨迹内反馈归因，BATON采用贝叶斯反馈归因。与语言反思或通用自校正不同（Shinn et al., 2023；Madaan et al., 2023；Gou et al., 2024；Zhou et al., 2023a；Wang et al., 2023），它通过组合经验频率与观测到的下一环境响应的似然性，比较在相同行动前上下文下采样的行动。所得反馈条件后验决定了归一化的归因权重，在每个轨迹内重新分配宿主学习器的策略信号；我们进一步证明，其预期归因增益受行动条件反馈分布的可区分性控制。对于轨迹间目标聚合，轨迹质量归一化（TMN）在平均各完整轨迹前，先平均每个轨迹内的有效学习项，以均匀的1/B份额替代与令牌成比例的外部质量。两个组件均保持宿主学习器的奖励、优势估计器、裁剪规则和回滚过程不变。

我们在ALFWorld、WebShop和搜索增强问答任务上使用GRPO和GiGPO评估BATON，其中多轮搜索策略近期已通过结果级和步骤级强化学习进行优化（Jin et al., 2025；Sun et al., 2025；Zheng et al., 2025b）。在不同模型规模下，两个轴均能带来独立增益，且其组合始终最强。改进在GiGPO（已提供更细粒度的轨迹内信用分配）中仍然持续，并伴随更短的评估轨迹和更少的生成策略令牌。

## 2 预备知识

#### 问题设定。

考虑一个与环境交互以完成多步骤任务的语言模型智能体。在决策步骤$t$，智能体基于交互历史$h_t = (o_0, a_0, ..., o_t)$生成行动$a_t \sim \pi_\theta(\cdot \mid h_t)$，随后环境返回下一观测$o_{t+1}$。完整轨迹$\tau_i$包含$T_i$个决策步骤并获得任务回报$R_i$。由于每个文本行动可能包含多个策略令牌，我们记$n_{i,t}$为步骤$t$的有效策略令牌数，$N_i = \sum_{t=1}^{T_i} n_{i,t}$为轨迹$\tau_i$中有效策略令牌的总数。我们在$B$个完整轨迹的批次上进行优化。

#### 基于群体的策略优化。

近期智能体RL方法如GRPO和GiGPO优化采样轨迹组，无需单独的价值模型。对于GRPO，每个轨迹$\tau_i$基于同源回滚的回报分配群体相对优势$\hat{A}_i$。令$r_{i,t,k}(\theta) = \pi_\theta(y_{i,t,k} \mid h_{i,t,k}) / \pi_{\theta_{\text{old}}}(y_{i,t,k} \mid h_{i,t,k})$表示第$k$个有效策略令牌的似然比。在全局有效策略令牌平均化下，策略目标为：

$$\mathcal{L}_{\text{GRPO}}(\theta) = -\frac{1}{S}\sum_{i=1}^{B}\sum_{t=1}^{T_i}\sum_{k=1}^{n_{i,t}} \min\left[ r_{i,t,k}(\theta)\hat{A}_i, \operatorname{clip}\left(r_{i,t,k}(\theta), 1-\epsilon, 1+\epsilon\right)\hat{A}_i \right], \quad (1)$$

其中$S = \sum_{i=1}^{B} N_i$。为清晰起见，我们省略了单独降低的正则化项。

#### 平坦轨迹聚合。

更一般地，令$\ell_{i,t,k}^{\mathcal{A}}$表示宿主学习器$\mathcal{A}$的本地策略代理损失，$\bar{\ell}_i^{\mathcal{A}} = N_i^{-1} \sum_{t,k} \ell_{i,t,k}^{\mathcal{A}}$为其轨迹级均值。通用的轨迹加权目标可写为：

$$\mathcal{J}_{\mathcal{A}}(\theta; \mathbf{q}) = \sum_{i=1}^{B} q_i \bar{\ell}_i^{\mathcal{A}}(\theta), \quad \sum_{i=1}^{B} q_i = 1, \quad q_i^{\text{flat}} = \frac{N_i}{\sum_j N_j}. \tag{2}$$

因此，全局有效令牌平均化分配给轨迹$\tau_i$的标量贡献与其有效策略令牌数成正比。

## 3 方法

我们提出**BATON**，一个面向多轮LLM智能体的双轴策略优化框架。BATON将策略优化分解为两个互补维度：**轨迹内反馈归因**，在轨迹内的决策间分配学习质量；**轨迹间目标聚合**，决定分配给完整轨迹的标量质量。我们通过贝叶斯反馈归因（BFA）实例化第一轴，通过轨迹质量归一化（TMN）实例化第二轴。两个组件修改目标的不同层次，可与宿主学习器（如GRPO和GiGPO）结合。

> 图2：BATON概览。贝叶斯反馈归因评估已访问决策与观测环境响应之间的反馈兼容性，在轨迹内生成归一化的停梯度权重。轨迹质量归一化控制跨完整轨迹的外部聚合。

### 3.1 双轴策略优化

对于轨迹批次$\mathcal{B} = \{\tau_i\}_{i=1}^{B}$，我们将策略优化分解为轨迹内分配和轨迹间聚合：

$$\mathcal{L}(\theta) = \sum_{i=1}^{B} q_i \frac{1}{N_i} \sum_{t=1}^{T_i} \sum_{k=1}^{n_{i,t}} \omega_{i,t} \ell_{i,t,k}^{\mathcal{A}}(\theta), \tag{3}$$

其中$q_i$控制轨迹级质量，$\omega_{i,t}$控制决策间的分配。我们要求

$$\frac{1}{N_i} \sum_{t} n_{i,t} \omega_{i,t} = 1, \tag{4}$$

使得归因在轨迹内重新分配质量而不改变其总贡献。

### 3.2 贝叶斯反馈归因

BFA估计已访问决策与其观测反馈的关联强度。宿主学习器仍负责有符号的优化方向；BFA仅调整不同决策的相对贡献。

对于已访问决策$(h, a, o')$，其中$h$是行动前上下文，$a$是执行的行动，$o'$是观测的环境反馈，BFA采样一个反事实行动：

$$\tilde{a} \sim \pi_{\theta_{\text{old}}}(\cdot | h). \tag{5}$$

执行行动和反事实行动构成成对候选集。对于每个候选行动，BFA评估其与观测反馈的兼容性：

$$\log f_{\theta_{\text{old}}}(o' | h, a) = \sum_{m \in \mathcal{V}(o')} \log \pi_{\theta_{\text{old}}}(o'_m | h, a, o'_{<m}), \tag{6}$$

其中$\mathcal{V}(o')$表示有效反馈目标令牌位置。该似然度量基于模型的反馈兼容性，而非反事实执行的因果效应。

#### 贝叶斯证据。

在成对构建下，$\rho_0(a|h) = \rho_0(\tilde{a}|h) = 1/2$。执行行动的反馈条件后验为：

$$\rho_{\theta_{\text{old}}}(a | h, o') = \frac{f_{\theta_{\text{old}}}(o' | h, a)}{f_{\theta_{\text{old}}}(o' | h, a) + f_{\theta_{\text{old}}}(o' | h, \tilde{a})}. \tag{7}$$

我们定义贝叶斯证据比：

$$e(h, a, o') = \frac{\rho_{\theta_{\text{old}}}(a | h, o')}{\rho_0(a|h)} = \frac{2 f_{\theta_{\text{old}}}(o' | h, a)}{f_{\theta_{\text{old}}}(o' | h, a) + f_{\theta_{\text{old}}}(o' | h, \tilde{a})}. \tag{8}$$

###### 命题1（贝叶斯证据解释）。

令

$$m(o' | h) = \frac{1}{2} f_{\theta_{\text{old}}}(o' | h, a) + \frac{1}{2} f_{\theta_{\text{old}}}(o' | h, \tilde{a}) \tag{9}$$

表示成对反馈混合。贝叶斯证据满足：

$$e(h, a, o') = \frac{f_{\theta_{\text{old}}}(o' | h, a)}{m(o' | h)}. \tag{10}$$

此外，

$$\mathbb{E}_{o' \sim f_{\theta_{\text{old}}}(\cdot | h, a)}[\log e(h, a, o')] = D_{\mathrm{KL}}\left(f_{\theta_{\text{old}}}(\cdot | h, a) \parallel m(\cdot | h)\right) \geq 0. \tag{11}$$

命题1刻画了BFA证据的统计量：较大的证据对应于执行行动反馈分布与其策略采样替代方案之间更大的可区分性。证明见附录A。

#### 长度校