让信用紧随计算：面向大语言模型强化学习的架构感知信用传递

# 让信用随计算流动：面向大型语言模型强化学习的架构感知信用传输
来源：https://arxiv.org/html/2608.21501 2026年8月
###### 摘要
在大型语言模型强化学习（LLM RL）中，信用分配可被解构为三个对象：关于成功的*证据*、将该证据转化为逐token优势函数的*传输算子*，以及将优势函数转化为策略更新的*更新几何*。近期研究已在证据、采样与更新几何方面取得了显著进展，但传输算子通常与模型架构无关。固定折扣广义优势估计（GAE）在token序列上应用平稳几何核；群体相对方法将某个结果统计量广播至整个回答。这两种算子均未表征Transformer策略本身在轨迹上所执行的计算过程。我们提出*计算条件信用传输*（CCT）——一个通用框架，其中行为策略内部计算的离散统计量参数化了一个因果核，该核通过一次采样轨迹传输后续价值。我们的具体算法CompPO，将原生注意力集中度映射到有界的逐token保留门控，并将此门控同时应用于一步自举和路径依赖的广义优势迹（Comp-GAE）；同时协同设计了一个传输对齐的评论家（TAC），它复用策略执行器的隐层状态与路由信息，而无需一个同等规模的第二个Transformer。任务奖励与裁剪PPO策略目标保持不变；恒定门控可恢复固定系数GAE。在五个Qwen3-4B随机种子实验中，CompPO最终留外验证准确率达61.4%（95%置信区间[60.8, 62.0]），而单独调优的GRPO基线仅为53.8%（[52.9, 54.7]）。一项控制性2x2门控与评论家交叉实验表明，使用标准评论家的Comp-GAE（55.2%）或使用均值匹配固定门控的TAC（56.4%）均无法复现完整结果；匹配种子下的最终交互效应为+2.4点（[1.9, 2.9]）。门控打乱与仅位置控制实验表明，轨迹特定的对齐方式所产生的效用超越了有利的边际调度。在匹配的PPO压力测试网格中，CompPO在10/12次运行中保持稳定，而PPO仅为3/12。在最终检查点冻结评估中，CompPO在Qwen3-4B和Llama-3.1-8B-Instruct上分别比GRPO高出4.3和3.9的贪婪pass@1宏平均点。这些结果确立了策略内部计算作为一个有用的估计变量，并开启了关于架构感知信用核、迹和评论家的更广泛研究议程。
关键词：大型语言模型，强化学习，信用分配，演员-评论家，注意力机制，广义优势估计

## 1 引言
使用可验证或偏好衍生奖励的强化学习，已成为提升大型语言模型（LLM）推理与决策能力的主要途径。算法领域发展迅速：PPO提供了自举的逐token优势函数（Schulman等, 2017; Schulman等, 2015）；RLOO和GRPO用回答级比较替代了评论家（Ahmadian等, 2024; Shao等, 2024）；DAPO、Dr. GRPO和GSPO改进了裁剪、归一化、采样与重要性比率几何（Yu等, 2025; Liu等, 2025b; Zheng等, 2025）；过程奖励和基于采样的方法生成了关于中间决策的更密集证据（Lightman等, 2023; Uesato等, 2022; Cui等, 2025; Kazemnejad等, 2024）。然而，学习栈中的一部分仍相对隐晦：*将延迟证据通过生成的轨迹进行传输的算子*。这一省略之所以重要，是因为Transformer策略并非同质的token序列。在每个位置，它执行对前缀的内容感知计算：注意力头检索不同事件，表示层进行组合，而活跃的依赖模式在不同轨迹上会发生变化。一个后期的数学结论可能依赖一个早期的代换；一个工具操作可能依赖许多轮之前的观察；一个代码token可能受一个遥远的声明约束。因此，策略是富含架构信息和历史结构的。而其信用估计器通常则不然。固定折扣GAE在每个转移使用一个持续系数；群体相对方法为回答中所有有效token分配一个回答级统计量。我们称这种差异为*架构-信用失配*。
为了精确定义这种失配，我们将逐token策略梯度流程解构为三个概念上不同的对象：
1.  **信用证据**：表明一个决策序列是好是坏的信息——终端验证器、过程奖励、评判器、反事实延续或评论家残差；
2.  **信用传输**：将这些证据跨位置或状态移动以产生逐token优势的因果算子；
3.  **更新几何**：将优势转化为策略更新的重要性比率、裁剪、KL约束、熵项和归一化。

这种分解阐明了为何许多强大的LLM RL进展是互补而非互斥的。更好的验证器改变证据。GRPO改变基线与采样统计量。GSPO改变更新几何。过程奖励改变证据输入的位置。这些选择中没有一个能唯一决定下游证据应如何通过策略自身的计算进行传输。对于标准GAE，传输可写为一个平稳上三角核。若δ是TD残差向量，则A=K^(γ,λ)δ，其中K^(γ,λ)_{t,u} = 1[u≥t] (λγ)^{u-t}。该核仅依赖时间间隔。一个典型的群体相对估计器则产生A^(i) = b_i * 1，其中i为回答：这是一种秩一广播几何，没有回答内的传输结构。两者都是连贯的估计器；两者都丢弃了策略已实现的内部计算。
我们的论点是：
> *策略已经计算了轨迹特定的依赖结构；信用传输应被允许以该计算为条件。*
我们提出*计算条件信用传输*（CCT）。令Φ_{θ^-}(h_t)是从行为策略在前缀h_t处的内部计算中提取的统计量，并令一个有界映射产生保留门控κ_t。由此产生的路径核为K^{κ,λ}_{t,u} = 1[u≥t] λ^{u-t} ∏_{j=t}^{u-1} κ_j。与公式1不同，它是非平稳且轨迹特定的：A_t对后续残差δ_u的敏感性是沿途计算门控的已实现乘积。该门控由旧策略计算，被分离，并随采样轨迹存储。因此，CCT改变的是估计器侧的传输核，而非环境奖励或任务目标。
我们将该框架实例化为*计算条件策略优化*（CompPO）。匿名投稿曾使用工作名NMPO，并将门控记为α_t。我们重命名该框架和算法，以突出其更普遍的贡献，并避免混淆估计器侧的保留与任务折扣。已实现的机制和客观实验结果保持不变。CompPO使用原生注意力集中度作为廉价标量摘要，以衡量当前计算是由历史的稀疏子集主导，还是由弥散支持。该门控进入一步计算条件自举和一个路径依赖的广义优势迹Comp-GAE。一个传输对齐的评论家（TAC）从策略执行器的现有隐层状态和注意力中汇聚与价值相关的历史信息，并使用相同的门控来耦合局部与路由历史的价值估计。外层裁剪PPO目标、验证器、采样轨迹格式和奖励保持不变。该方法特意不止是加权注意力损失。注意力并不直接乘以策略梯度。它参数化了自举系数、每个下游残差的迹权重，以及用于估计这些目标的评论家状态几何。我们也不声称注意力是因果的token归因。集中度是一个策略原生的结构性代理，其有用性必须通过对齐控制测试来建立。
实验证据的组织旨在直接检验主要的替代解释。首先，GRPO和CompPO在相同的3x3策略学习率/KL网格上进行筛选，并通过五个种子进行确认。CompPO达到61.4%的最终留外验证准确率，而GRPO为53.8%，并且在最佳和最终端点，每个CompPO种子都超过每个GRPO种子。其次，一个五种子2x2实验交叉了动态与均值匹配固定传输以及标准与对齐评论家。使用标准评论家的动态传输达到55.2%的最终准确率；使用固定门控的对齐评论家达到56.4%；完整的CompPO达到61.4%，正向最终交互效应为+2.4点（[1.9, 2.9]）。标准评论家具有负的解释方差和弱的TD目标秩相关性，而对齐评论家对诱导目标的跟踪要好得多。第三，全局门控打乱和冻结的仅位置调度降低了性能，表明结果并非仅由边际系数尺度或位置解释。第四，匹配的PPO压力测试网格支持一个有界的鲁棒性声明：CompPO在10/12次运行中稳定，而PPO为3/12。最后，最终检查点冻结评估在Qwen3-4B和Llama-3.1-8B-Instruct上分别比GRPO高出4.3和3.9的贪婪宏平均点。
更深层的启示是，LLM RL无需保持架构无关性。主导的无评论家趋势可能反映了传统价值表示与长时域目标之间的偶然失配，而非语言模型演员-评论家学习的内在不可能性。更广泛地说，注意力、检索、内存访问、MoE路由、工具依赖或跨模态信息流可以参数化未来的贝尔曼式算子、迹、评论家和信任区域。
我们的贡献包括：
- • **解构与问题抽象**：我们分离了信用证据、信用传输与更新几何，识别了架构-信用失配，并将固定折扣GAE和群体相对广播表征为两种架构无关的传输几何。
- • **通用框架**：CCT将分离的策略内部计算转化为路径依赖的因果传输核。我们推导了其矩阵形式、敏感性解释、对固定GAE的归约、收缩性以及有界迹性质。
- • **具体算法**：CompPO将注意力衍生的保留门控、Comp-GAE和传输对齐的策略特征评论家相耦合，同时保留外部奖励和裁剪PPO更新。
- • **机制级证据**：匹配调参、五种子因子实验、评论家诊断、打乱、仅位置调度、PPO压力测试网格、更强的群体基线和双骨干冻结评估，孤立了该机制的作用和证据边界。
- • **研究议程**：该工作将策略内部计算提升为一类RL估计变量，并激励了超越此处研究的标量注意力实例化之外的架构感知信用传输研究。

## 2 信用分配作为证据、传输与更新
信用证据（奖励、价值、过程信号） → 传输算子K → 逐token优势 → 更新几何U（比率、裁剪、KL、熵）。
本工作改变了中间对象，并协同设计了用于构建它的价值表示。
| 时间坐标 (PPO / 固定折扣GAE) | 结果/群体坐标 (GRPO系列) | 计算坐标 (CompPO) |
| :--- | :--- | :--- |
| t₁, t₂, t₃, t₄, t₅ | y⁽¹⁾, y⁽²⁾, y⁽³⁾ | t₁, t₂, t₃, t₄, t₅ |
| γ, γ, γ, γ | b_i, b_i, b_i | κ₁, κ₂, κ₃, κ₄ |
| 平稳几何核，仅索引于token距离 | 一个回答级统计量广播至每个有效token | 轨迹特定路径核，以策略计算为条件 |
图1：信用分配分解为证据、传输和更新几何（上），以及LLM RL中使用的三种传输坐标（下）。固定GAE使用平稳时间核；群体相对方法广播回答级证据；CompPO让行为策略计算参数化因果传输路径。

### 2.1 轨迹设置
令x为提示，y_{1:T}是从πθ(y_t | h_t)采样的响应，其中h_t = (x, y_{<t})，y_{<1}为空。我们关注奖励信号y_{t+1:T}。时间t的即时奖励为r_t，最终奖励为r_T。轨迹累积奖励为R = Σ_{t=1}^T r_t。目标是最大化E_{y~πθ}[R]。我们关注信用分配：如何将R归因于每个token决策y_t。这需要将证据（奖励、价值估计或过程信号）通过轨迹传输，以产生优势函数A_t，然后用它更新策略。

### 2.2 固定折扣GAE
在PPO中，使用广义优势估计（GAE）计算优势函数。给定TD残差δ_t = r_t + γ V(h_{t+1}) - V(h_t)，GAE定义为A_t = Σ_{l=0}^{∞} (γλ)^l δ_{t+l}。这可以写成A = K^{γ,λ} δ，其中核K^{γ,λ}_{t,u} = 1[u≥t] (λγ)^{u-t}。该核是平稳的，仅依赖时间间隔u-t。这意味着无论轨迹的具体计算如何，信息传输的权重模式都是相同的。

### 2.3 群体相对方法
在GRPO中，没有评论家。对于一组相同提示的采样响应{y^{(1)},..., y^{(G)}}，计算每个响应i的归一化奖励b_i = (R_i - μ_R) / σ_R。然后，对于响应i中的每个有效token t，优势估计被设为A_t^{(i)} = b_i。这是一种广播几何：整个响应内的所有token接收相同的信用估计。它没有考虑响应内不同token在计算上的依赖性。

### 2.4 架构-信用失配
固定折扣GAE和群体相对方法都是有效的估计器，但它们都与Transformer策略的实际计算过程无关。Transformer策略的计算是位置依赖的：每个位置的注意力头基于内容检索不同的历史信息，形成复杂的依赖图。然而，GAE使用一个固定的时间衰减核，而GRPO使用一个响应级的常数。我们称这种策略计算丰富性与信用传输机制简单性之间的不匹配为“架构-信用失配”。这可能导致信用分配不准确，因为传输算子未能捕捉计算过程中的实际依赖结构。

## 3 计算条件信用传输
我们提出计算条件信用传输（CCT）框架。其核心思想是：使用策略执行器在生成轨迹时内部计算的统计量，来参数化信用传输算子。
形式上，令Φ_{θ^-}(h_t)是从行为策略在处理前缀h_t时的内部计算（例如注意力权重、隐层状态）中提取的一个统计量。令g(·)是一个有界、单调的映射（如sigmoid），产生保留门控κ_t = g(Φ_{θ^-}(h_t)) ∈ [0, 1]。该门控κ_t表示在位置t，策略认为其当前决策对历史信息的依赖程度。然后，我们定义路径依赖的传输核：
K^{κ,λ}_{t,u} = 1[u≥t] λ^{u-t} ∏_{j=t}^{u-1} κ_j
因此，优势函数通过A = K^{κ,λ} δ计算。该核的关键特性是：它沿着路径累积门控值。如果路径上某个位置的门控κ_j很低，那么后续残差δ_u（u > j）对A_t的贡献就会被强烈衰减。这允许信用传输根据轨迹特定的计算依赖进行自适应加权。

### 3.1 与固定GAE和群体相对方法的关系
- 当所有门控κ_t恒等于某个常数c时，CCT退化为固定折扣GAE，其中有效折扣因子为γλc。
- 群体相对方法可以看作是CCT的一个特例，其中对于给定响应，所有位置的门控κ_t都等于1，但核的构建方式不同（广播一个常数而不是累积门控乘积）。CCT更通用，因为它允许门控在轨迹内变化，并且核是乘积形式的。
- CCT与这两种方法的主要区别在于其*轨迹特定性*和*路径依赖性*。传输权重不仅依赖于时间距离，还依赖于沿路径的计算门控值。

### 3.2 计算门控：注意力集中度
我们选择使用原生注意力机制的一个简单统计量作为计算门控的基础。对于位置t，令其注意力权重在所有历史位置上的分布为α_{t,1}, ..., α_{t,t-1}（归一化）。我们计算该分布的熵H_t = - Σ_j α_{t,j} log α_{t,j}。熵高表示注意力分散在许多位置；熵低表示注意力集中在少数位置。我们定义集中度指标c_t = 1 - H_t / log(t-1)（归一化到[0,1]）。c_t高意味着当前计算主要由稀疏的历史输入主导；c_t低意味着由弥散的历史支持。然后，我们通过一个可配置的sigmoid将c_t映射到门控κ_t，例如κ_t = κ_lo + (κ_hi - κ_lo) σ(τ(c_t - 0.5))，其中κ_lo, κ_hi, τ是超参数。在主要实验中，我们设置(κ_lo, κ_hi, τ) = (0.1, 0.9, 4)。

## 4 CompPO算法
我们实例化CCT为计算条件策略优化（CompPO）。CompPO包含三个主要组件：1) 基于注意力集中度的门控计算，2) 传输对齐的评论家（TAC），3) 路径依赖广义优势估计（Comp-GAE），并结合标准的裁剪PPO更新目标。

### 4.1 门控计算
如第3.2节所述，我们使用注意力熵计算集中度指标c_t，然后通过有界映射得到κ_t。该门控在采样时计算，由旧策略θ^-生成，并存储用于后续优势估计和批评家训练。

### 4.2 传输对齐的评论家（TAC）
评论家必须预测由Comp-GAE生成的目标，同时保持计算效率。我们不训练第二个独立的Transformer，而是复用策略执行器的激活值。具体地：
- **跨层策略特征融合**：对于一组选定的L'个上层，计算融合表示 \bar{h}_t = Σ_{l=1}^{L'} ω_l h_t^{(l)}，其中权重ω通过一个小网络从浅层特征预测得到。
- **价值精炼历史路由**：原生注意力是为预测下一个token训练的，可能不完全对齐于价值预测。我们添加一个轻量级的路由模块，基于融合表示和当前门控，从历史隐层状态中选择性地汇聚信息，形成价值估计的输入。这使得评论家可以复用执行器的信息，但以一种专注于价值估计的方式。

### 4.3 路径依赖广义优势估计（Comp-GAE）
给定评论家的价值估计V(h_t)和即时奖励r_t，计算TD残差δ_t。然后，优势函数通过路径核计算：A_t = Σ_{u=t}^{T} K^{κ,λ}_{t,u} δ_u。实际中，我们使用一个截断的有限视窗来计算。与标准GAE相比，这里的核权重是路径依赖的：权重是路径上门控值的乘积。这允许优势估计考虑从t到u的路径上的计算依赖强度。

### 4.4 策略更新
我们使用标准的裁剪PPO目标来更新策略参数θ：
L(θ) = E_t [ min( ρ_t(θ) A_t, clip(ρ_t(θ), 1-ε, 1+ε) A_t ) ]
其中ρ_t(θ) = π_θ(y_t | h_t) / π_{θ_old}(y_t | h_t) 是重要性比率，A_t是由Comp-GAE计算的优势估计。奖励、裁剪参数ε和KL惩罚项等保持不变。核心变化是A_t的计算方式。

## 5 实验设置
我们在具有挑战性的代码生成和数学推理任务上评估CompPO。我们使用两个骨干模型：Qwen3-4B和Llama-3.1-8B-Instruct。基线包括PPO和GRPO。主要评估指标是最终留外验证集准确率。我们进行多轮实验以控制随机种子、学习率和KL系数等因素。

## 6 主要结果
### 6.1 CompPO vs. GRPO
在Qwen3-4B上，使用5个随机种子，在3x3（学习率 x KL系数）的网格上搜索最佳超参数。CompPO的平均最终验证准确率为61.4%（95% CI [60.8, 62.0]），显著高于GRPO的53.8%（[52.9, 54.7]）。在所有5个种子上，CompPO在最佳和最终检查点上的性能都超过了对应的GRPO种子。

### 6.2 消融实验：门控与评论家交互
一个2x2因子实验交叉了传输机制（动态CCT vs. 均值匹配固定门控）和评论家类型（标准GAE评论家 vs. TAC）。结果显示，完整的CompPO（动态传输 + TAC）达到61.4%。仅使用动态传输和标准评论家为55.2%；仅使用固定门控和TAC为56.4%。交互效应为+2.4点，表明动态门控与对齐评论家协同工作。标准评论家的解释方差为负，且TD目标秩相关性弱，而TAC显著改善了目标跟踪。

### 6.3 控制实验
- **门控打乱**：在计算优势函数时，打乱轨迹中κ_t的顺序，性能下降。
- **仅位置调度**：使用一个固定的、仅依赖于位置而非计算内容的门控调度，性能低于动态计算门控。
这些结果表明，CompPO的成功不仅仅因为使用了一个位置相关的门控，而是因为门控内容与轨迹计算的特定对齐。

## 7 鲁棒性与额外评估
### 7.1 PPO压力测试
在一个匹配的、更具挑战性的PPO超参数压力网格上（包含更宽的学习率范围和KL惩罚），CompPO在12次运行中有10次成功训练（策略未崩溃且性能稳定），而标准PPO仅有3次成功。

### 7.2 跨模型泛化
在最终检查点冻结评估中，CompPO在Qwen3-4B和Llama-3.1-8B-Instruct上分别比GRPO高出4.3和3.9的贪婪pass@1宏平均点，表明该方法在不同模型架构上有效。

## 8 结论与讨论
我们提出了计算条件信用传输（CCT），并将其实例化为CompPO算法。通过利用策略执行器内部计算的统计信息（注意力集中度）来参数化信用传输核，CompPO缓解了LLM RL中的架构-信用失配问题。实验证明，CompPO在多个任务和模型上优于GRPO等基线，并且通过消融实验证实了其机制组件的有效性。
这项工作的更广泛意义在于，它开辟了研究更丰富的、架构感知的信用分配方法的可能性。未来的工作可以探索使用更复杂的内部计算统计量（如特定注意力头的激活模式、路由决策等）来参数化传输算子，或者设计全新的、与Transformer架构深度融合的估计器。这为提升LLM RL的样本效率和性能提供了新的方向。