TIAO: 基于令牌重要性感知的文本摘要策略优化

# TIAO：面向文本摘要的令牌重要性感知策略优化
来源：https://arxiv.org/html/2609.16748
Qixiu Li  Chenlong Bao  Xiang Zhu  Xiaoyong Li  Ruixin Cao  Shukai Chen  Zhenxiong Zhou††thanks:$†$ 共同第一作者\. \*通讯作者\.

###### 摘要

文本摘要要求模型在保持一致性和连贯性等关键特性的同时，压缩内容。大型语言模型在该任务上已展现出强大性能，并可通过强化学习进一步提升。然而，现有大多数方法将奖励信号直接应用于无差别的令牌序列，忽视了单个令牌对摘要中词语和句子层面质量的不同重要性。本文提出令牌重要性感知策略优化，这是一种新颖的强化学习策略，明确利用了令牌重要性感知能力。具体而言，TIAO基于令牌依赖关系识别核心令牌，并根据轨迹的整体依赖度重新加权其优势函数。在真实数据集上的实验表明，我们的TIAO取得了极具竞争力的结果，经TIAO增强的7B基础模型性能可与GPT-4和GPT-5-nano媲美。代码已开源于https://github.com/TechCloud-x/TIAO。

###### 索引词：

强化学习，文本摘要

††地址:1国防科技大学

## 1 引言

文本摘要是一个选择性信息压缩问题：系统必须缩短源文档，同时保留显著的实体、数字、事件和关系，并保持连贯性、相关性、流畅性和事实一致性。预训练的序列到序列模型以及近期的大型语言模型已显著提升了抽象式摘要的质量\[3 (https://arxiv.org/html/2609.16748#bib.bib21),7 (https://arxiv.org/html/2609.16748#bib.bib22),22 (https://arxiv.org/html/2609.16748#bib.bib10)\]。然而，事实性研究表明，流畅的摘要仍可能对源文档支持的内容产生幻觉或扭曲\[18 (https://arxiv.org/html/2609.16748#bib.bib23),11 (https://arxiv.org/html/2609.16748#bib.bib11),13 (https://arxiv.org/html/2609.16748#bib.bib12)\]；一旦在压缩过程中丢失关键证据，流畅的语言表层形式也无法恢复它。这推动了用于评估一致性、连贯性、相关性和流畅性的多维度评估器的发展\[23 (https://arxiv.org/html/2609.16748#bib.bib13),5 (https://arxiv.org/html/2609.16748#bib.bib14),9 (https://arxiv.org/html/2609.16748#bib.bib15)\]。强化学习提供了一种优化此类不可微质量信号的直接途径，从基于人类反馈的摘要\[16 (https://arxiv.org/html/2609.16748#bib.bib16)\]到近期的多目标奖励平衡策略HVO\[15 (https://arxiv.org/html/2609.16748#bib.bib4)\]。这些方法主要改进了“何种奖励应定义一个更好的摘要”。

然而，摘要策略优化也面临信用分配不匹配的问题。自回归生成是一个令牌级的序列决策过程，策略在给定源文档和已生成前缀的条件下选择每个令牌。相比之下，摘要质量通常仅在整个序列生成完毕后才进行评估。在GRPO式目标中，相同的轨迹优势函数通常与跨位置的逐令牌策略比率相乘。这种方法能够区分较好和较差的摘要轨迹，但无法识别哪些位置真正依赖于源文档或决定事实覆盖范围。由此产生的奖励传播会稀释许多低信息令牌的有用梯度。

近期细粒度的RL方法部分解决了这一局限。过程奖励模型和逐步验证器为推理轨迹提供更密集的反馈\[8 (https://arxiv.org/html/2609.16748#bib.bib17),17 (https://arxiv.org/html/2609.16748#bib.bib18)\]，而奖励重新分配则将整体反馈分解为令牌级奖励\[6 (https://arxiv.org/html/2609.16748#bib.bib19)\]。基于熵的分析进一步表明，在推理模型中，一小部分不确定的令牌可能主导RL的收益\[19 (https://arxiv.org/html/2609.16748#bib.bib20)\]。优化方面的进展，如DAPO\[20 (https://arxiv.org/html/2609.16748#bib.bib2)\]和SAPO\[4 (https://arxiv.org/html/2609.16748#bib.bib7)\]，通过令牌级设计、动态采样和令牌自适应更新控制来改进大规模LLM的RL。尽管如此，这些方法通常依赖于辅助奖励模型、过程标注或输出端的代理信号，并且主要用于数学或通用推理。对于摘要，核心问题不同：输出令牌是否真正由源证据支持。

本图标题 图 1：源掩码下的TIAO令牌依赖分析。(a) 比较了完整源和掩码源下的令牌概率，并高亮了依赖源的更新位置。(b) 总结了跨令牌类别的轨迹级依赖模式。本文针对这一缺失环节。在多维摘要奖励下，现有算法仍然缺乏能够将序列级质量反馈与令牌级证据使用对齐的源依赖感知信用分配机制。这样的机制应能区分基于源文的轨迹和语言先验的捷径，并且在同一轨迹内，对概率对源文档敏感的令牌施加更强的学习压力。重要的是（图1），这应在无需训练额外令牌评论家的情况下实现。更好的奖励定义了学什么；我们的目标是决定策略应在何处以及以多强力度学习。

为此，我们提出令牌重要性感知策略优化，一种用于文本摘要的源敏感策略优化方法。TIAO构建了一个双尺度优化循环：源扰动估计令牌依赖度；令牌依赖度被聚合为轨迹级源依赖度；轨迹优势根据此依赖度进行缩放；令牌更新聚焦于源敏感位置。我们的贡献有三方面。❶ 我们基于反事实源掩码下的概率变化，定义了摘要输出令牌的源依赖度量。❷ 我们引入了一种轨迹-令牌信用分配策略，该策略联合重新加权轨迹优势并聚焦令牌级策略更新。❸ 我们在CNN/DailyMail数据集上验证了TIAO，展示了其在摘要质量和训练稳定性方面的提升。

本图标题 图 2：我们提出的TIAO的逻辑实现。
## 2 方法论

### 2.1 概述

我们提出令牌重要性感知策略优化，一种用于抽象式摘要的源敏感强化学习框架。如图2所示，TIAO保持了标准的分组相对滚动和多维摘要奖励，但改变了所得学习信号的分配方式。对于每个采样摘要，我们扰动源文档，并在原始和扰动源下重新评估相同输出令牌的概率。由此引发的概率偏移估计了每个输出令牌对源证据的依赖强度。TIAO随后在两个层次上使用此信号：根据摘要的整体源依赖度重塑轨迹优势，并将令牌级策略梯度过滤至对源最敏感的输出位置。因此，奖励仍然定义了什么是更好的摘要，而TIAO决定了策略应从何处学习它。

### 2.2 问题描述

给定一个文档$x$和一个参考摘要$y^\star$，策略$\pi_\theta$自回归地生成抽象式摘要$y=(y_1,\ldots,y_T)$：
$$y_t\sim\pi_\theta(\cdot\mid x,y_{<t}),\quad t=1,\ldots,T.\tag{1}$$
文本摘要策略优化因此成为一个具有令牌级动作和序列级反馈的序列决策问题。由于生成的摘要长度可变，我们为第$i$个采样轨迹定义了一个有效令牌掩码$c_{i,t}\in\{0,1\}$，其中第一个序列结束标记之后的令牌被排除，且$T_i=\sum_{t}c_{i,t}$。令$\mathbf{r}(x,y)\in\mathbb{R}^D$表示一个多维评估器，在我们的实现中，其维度对应于连贯性、一致性、流畅性和相关性。通过一个外部聚合函数$\Phi$，获得一个标量轨迹奖励，计算为：
$$R(x,y)=\Phi(\mathbf{r}(x,y)).\tag{2}$$
TIAO独立于具体的评估器和聚合规则。它的作用是将所得的轨迹级信号转化为具有源感知的轨迹和令牌信用，而无需额外的令牌评论家。

### 2.3 多维分组相对策略优化

对于每个文档$x$，旧策略$\pi_{\theta_{\mathrm{old}}}$采样一组$G$个摘要$\{y_i\}_{i=1}^G$。每个摘要首先获得一个奖励向量$\mathbf{r}_i=[r_{i,1},\ldots,r_{i,D}]$。为了使不同维度在标量化前可比，我们写出一个组内标准化得分：
$$\hat{r}_{i,d}=\frac{r_{i,d}-\mu_d}{\sigma_d+\epsilon_d},\quad \mu_d=\frac{1}{G}\sum_{j=1}^G r_{j,d}.\tag{3}$$
然后获得标量奖励$R_i=\Phi(\hat{\mathbf{r}}_i;\boldsymbol{\lambda})$，其中$\boldsymbol{\lambda}\in\Delta^{D-1}$表示非负维度偏好，$\Phi$可以表示线性或非线性聚合。TIAO将此奖励构建视为外部评估器，仅修改分配给生成令牌的信用。遵循分组相对策略优化范式，我们在组内对标量奖励进行归一化，其数学公式为：
$$A_i=\frac{R_i-\mu_R}{\sigma_R+\epsilon},\quad \mu_R=\frac{1}{G}\sum_{j=1}^G R_j,\tag{4}$$
其中$\sigma_R$是组内奖励标准差，$\epsilon$是一个小常数。逐令牌的策略比率计算为：
$$w_{i,t}(\theta)=\frac{\pi_\theta(y_{i,t}\mid x,y_{i,<t})}{\pi_{\theta_{\mathrm{old}}}(y_{i,t}\mid x,y_{i,<t})}.\tag{5}$$
相应的未裁剪令牌贡献可以写为$g_{i,t}=c_{i,t}w_{i,t}(\theta)A_i$，这明确显示了信用分配问题：所有有效位置都继承了相同的轨迹级标量值。在传统的GRPO式训练中，这是高效的，但它将事实内容令牌、话语标记和低信息功能词视为对序列级奖励负有同等责任。

### 2.4 输出令牌的源依赖度估计

TIAO通过衡量当源证据被部分移除时，已生成令牌的概率是否发生变化来估计令牌重要性。设源为$x=(x_1,\ldots,x_N)$。对于每个采样轨迹，我们绘制一个独立的源掩码：
$$b_{i,n}\sim\operatorname{Bernoulli}(1-\rho),\quad \tilde{x}_{i,n}=\begin{cases}x_n,&b_{i,n}=1,\\ \mathtt{[MASK]},&b_{i,n}=0,\end{cases}\tag{6}$$
其中$\rho\in(0,1)$控制扰动强度。这定义了反事实源$\tilde{x}_i=\mathcal{M}_\rho(x;\mathbf{b}_i)$，同时保持生成的前缀$y_{i,<t}$不变。然后我们计算在滚动策略下的教师强制对数概率。过程如下：
$$\ell^F_{i,t}=\log\pi_{\theta_{\mathrm{old}}}(y_{i,t}\mid x,y_{i,<t}),\quad \ell^M_{i,t}=\log\pi_{\theta_{\mathrm{old}}}(y_{i,t}\mid\tilde{x}_i,y_{i,<t}).\tag{7}$$
我们将令牌源依赖度定义为在完整源和掩码源预测之间条件散度的采样令牌低方差估计，可表示为：
$$d_{i,t}=\operatorname{clip}(\ell^M_{i,t}-\ell^F_{i,t},-\tau,\tau),\quad I_{i,t}=c_{i,t}\left[\exp(d_{i,t})-d_{i,t}-1\right].\tag{8}$$
较大的$I_{i,t}$表示$y_{i,t}$对源文档更敏感。裁剪阈值$\tau$仅稳定极端的对数概率偏移，不引入任何可训练的评论家。此公式专注于源支持，而不仅仅是输出端的不确定性：一个令牌之所以重要，仅当移除源证据改变了模型对其生成的信心。

### 2.5 轨迹–令牌信用分配

基于依赖度得分，TIAO在宏观和微观层面重塑学习信号。

宏观层面：轨迹优势重塑。对于每个生成的摘要，我们将令牌依赖度聚合为轨迹依赖度得分。该操作的数学公式为：
$$S_i=\frac{\sum_t c_{i,t} I_{i,t}}{\sum_t c_{i,t} + \delta_T},\tag{9}$$
其中$\delta_T$防止退化完成序列的除零操作。然后，我们在滚动批次$\mathcal{B}$上计算一个保持均值的正缩放，该操作可表述为：
$$\alpha_i=\frac{S_i}{\bar{S}+\delta},\quad \bar{S}=\frac{1}{|\mathcal{B}|}\sum_{j\in\mathcal{B}}S_j,\tag{10}$$
其中$\delta$防止数值不稳定。重塑后的优势为：
$$\tilde{A}_i=\alpha_i A_i.\tag{11}$$
这种缩放放大了那些高奖励且强烈基于源文的摘要的更新，同时也对错误发生在源依赖区域的低奖励摘要施加更强的纠正压力。

微观层面：令牌更新聚焦。在每个轨迹内，我们根据$I_{i,t}$选择前$\kappa$比例的有效输出令牌，其中$\kappa\in(0,1)$。令$\operatorname{rank}_{\downarrow}(I_{i,t})$表示令牌$t$在相同轨迹内有效令牌中的降序排名，无效位置被赋予无限排名。所选索引集和二值令牌门控在数学上计算为：
$$\mathcal{K}_i=\{t\mid c_{i,t}=1,\operatorname{rank}_{\downarrow}(I_{i,t})\leq\lceil\kappa T_i\rceil\},\quad m_{i,t}=c_{i,t}\mathbb{I}(t\in\mathcal{K}_i).\tag{12}$$
该门控与策略优化分离，仅作为信用分配掩码。通过将策略梯度项集中在源敏感的令牌上，TIAO减少了序列级奖励在通用或弱依赖位置上的扩散。

### 2.6 训练目标

整合轨迹优势重塑和令牌更新聚焦，得到最终的TIAO目标，可表述为：
$$\mathcal{L}_{\mathrm{TIAO}}(\theta)=\mathbb{E}_{x\sim\mathcal{D},\,\mathbf{y}\sim\pi_{\theta_{\mathrm{old}}}(\cdot\mid x)}\left[\frac{1}{G}\sum_{i=1}^G\frac{1}{T_i}\sum_t m_{i,t} w_{i,t}(\theta) \tilde{A}_i\right].\tag{13}$$
这里，$m_{i,t}$确保仅依赖源的令牌接收策略梯度，$\tilde{A}_i$已按轨迹级源依赖度缩放，$w_{i,t}(\theta)$提供相对策略比率。该目标保持了标准GRPO的结构，但通过源依赖度感知将信用分配重新导向了信息最丰富的摘要位置。