基于自回归序列模型的条件属性估计

# 条件属性估计与自回归序列模型

来源：https://arxiv.org/html/2605.14004

Erica Stutz 生物医学信息学与数据科学系 耶鲁大学 纽黑文，CT 06510 erica\.stutz@yale\.edu &Giacomo Marino 生物医学信息学与数据科学系 耶鲁大学 纽黑文，CT 06510 giacomo\.marino@yale\.edu &Daniella Meeker 生物医学信息学与数据科学系 耶鲁大学 纽黑文，CT 06510 daniella\.meeker@yale\.edu &Qiao Liu 生物统计系 耶鲁大学 纽黑文，CT 06510 qiao\.liu@yale\.edu &Andrew J\. Loza 生物医学信息学与数据科学系，儿科系 耶鲁大学 纽黑文，CT 06510 andrew\.loza@yale\.edu

###### 摘要

生成模型通常以下一个词元预测为目标进行训练，然而许多下游应用需要估计或控制序列级别的属性。尽管取得了成功，但下一个词元预测在训练中可能导致局部模式的过拟合、全局结构的欠拟合，并且在推理时需要大量的下游修改或昂贵的采样来引导或预测生成样本的全局属性。在此，我们引入条件属性变换器（Conditional Attribute Transformers），一种联合估计下一个词元概率和基于每个潜在下一个词元选择的属性值的新方法。该框架能够在单次前向传播中实现三种关键能力，无需修改输入序列：(1) 整个序列的逐词元信用分配，通过识别序列中每个词元如何与属性值关联；(2) 反事实分析，通过量化基于替代下一个词元选择的属性差异；(3) 可引导生成，通过基于下一个词元概率和属性概率的组合来解码序列。我们的方法在稀疏奖励任务上达到了最先进的性能，在足够模型规模下改进了下一个词元预测，估计属性概率的速度比采样快几个数量级，并且可以在多种语言任务上引导自回归序列模型的解码。

## 1 引言

生成模型在从语言到生物医学信息学的多个领域展现了性能进步Brown等人 (2020 (https://arxiv.org/html/2605.14004#bib.bib10))；Ferruz等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib9))；Waxler等人 (2025 (https://arxiv.org/html/2605.14004#bib.bib8))；Brixi等人 (2025 (https://arxiv.org/html/2605.14004#bib.bib4))。虽然下一个词元预测是一个可扩展的训练目标Hoffmann等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib33))，但它优化了局部连贯性，并可能导致局部模式的贪婪过拟合以及对关键分支词元的次优预测Gloeckle等人 (2024 (https://arxiv.org/html/2605.14004#bib.bib11))；Qi等人 (2020 (https://arxiv.org/html/2605.14004#bib.bib7))。此外，这些模型的下游效用通常由序列级别属性定义Chang等人 (2023 (https://arxiv.org/html/2605.14004#bib.bib34))。在语言模型中，需要控制词元选择以创建具有特定属性（如正确性或有用性）的文本Keskar等人 (2019 (https://arxiv.org/html/2605.14004#bib.bib23))。在生物医学信息学中，生成模型通过昂贵的蒙特卡洛（MC）模拟来估计临床相关的序列属性，如疾病发作、医疗事件或治疗反应Waxler等人 (2025 (https://arxiv.org/html/2605.14004#bib.bib8))；Renc等人 (2024 (https://arxiv.org/html/2605.14004#bib.bib6))；Shmatko等人 (2025 (https://arxiv.org/html/2605.14004#bib.bib5))。能够学习更好捕捉序列级别属性的表示、高效地从部分序列估计属性，以及控制生成以创建具有特定属性的序列，这一能力在各个领域具有广泛影响。

这些多样化的用例共享一个共同的数学需求：需要在部分序列的基础上，基于下一个词元的选择来估计序列级别的属性。这一能力允许对观察到的序列进行属性可能性估计，或进行可引导解码以优化特定属性的可能性。当前用于预测或控制序列级别属性的方法计算需求高，因为它们通常需要可能在许多词元之后才出现的属性。当前方法主要分为两类：条件生成和基于辅助模型的基础模型引导。这些方法存在若干局限性，包括高计算开销、需要额外模型训练以及灵活性有限。

在此，我们提出条件属性变换器（CAT），一种用于条件属性估计的方法（图1 (https://arxiv.org/html/2605.14004#S1.F1)）。利用强化学习框架，我们将数据视为来自一个未知的序列博弈。我们通过一个分支架构和共享潜在空间，在一个联合目标（下一个词元预测和条件序列级别属性预测）的单一模型中开发了这一框架的生成模型。

这项工作的具体贡献如下：

- •我们提供了一个框架，用于同时估计下一个词元可能性和基于每个潜在下一个词元的序列级别属性可能性。我们还将此目标与因果推断和强化学习的组成部分联系起来。
- •我们证明了该目标可以整合到 (a) 生成式解码器变换器的预训练中，具有最小的计算开销，并能协同改善下一个词元的困惑度，或 (b) 通过微调整合到预训练模型中。
- •我们在三个不同的任务上评估了性能：(1) 从随机游戏中学习策略，(2) 预测和控制亚马逊产品评论的可能评分，以及 (3) 在医疗数据集中预测脓毒症发作。

参见图注

图1：CAT是一个统一的架构，用于下一个词元和序列级别属性预测。词元 \(tnt\_\{n\}\) 由共享主干处理。最终的潜在表示同时由语言建模头（Token Head）和一个集成的条件属性模型（attribute block + attribute head）处理。下一个词元交叉熵损失 \(LtokenL\_\{token\}\) 与属性损失 \(LattrL\_\{attr\}\) 相结合，属性损失可以来自二元、多项式或数值属性，以词元级别的序列 \(ana\_\{n\}\) 传递。在训练期间，完整的条件属性矩阵不必实例化（灰色），因为只有真实下一个词元的属性是可见的，尽管它被学习。右下方面板显示了延续（虚线）或CAT引导（实线）的示例，将5星前缀改为1星完整评论。

## 2 相关工作

已经开发了许多用于控制或估计序列级别属性的方法，分为两类：通过条件生成或通过单独模型在推理时引导。

条件生成通过在输入中插入固定的提示或代码来引导生成模型。预训练条件生成包括CTRLKeskar等人 (2019 (https://arxiv.org/html/2605.14004#bib.bib23))等方法，该方法在序列前添加控制代码，以及决策变换器Chen等人 (2021 (https://arxiv.org/html/2605.14004#bib.bib14))，该方法在离线强化学习框架下，在每个奖励-状态-动作元组中插入回报-待得词元。在训练后条件生成方法中，Quark在序列前添加奖励分位数词元Lu等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib24))。虽然这些模型可以条件生成，但它们不能确保插入控制词元产生的序列保持分布或提供属性的概率估计。此外，如果下游词元被错误选择，则无法纠正。相比之下，CAT在每一步估计属性，无需修改输入序列，允许更灵活和主动的控制引导。

或者，可以使用辅助模型引导词元生成。基于分类器的方法包括PPLM，它使用外部分类器的梯度来引导生成，以及FUDGE，它训练一个二元分类器从部分序列预测属性选择Dathathri等人 (2019 (https://arxiv.org/html/2605.14004#bib.bib25))；Yang和Klein (2021 (https://arxiv.org/html/2605.14004#bib.bib26))。GeDi使用生成式判别器来更新下一个词元概率Krause等人 (2020 (https://arxiv.org/html/2605.14004#bib.bib35))。Director通过将生成器和分类器集成到一个统一模型中，在最终潜在表示处添加一个属性头 alongside 语言建模头Arora等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib22))。DExperts使用两个辅助模型，一个针对所需属性微调，另一个针对不需要的属性微调，以重新加权主模型的下一个词元概率Liu等人 (2021 (https://arxiv.org/html/2605.14004#bib.bib21))。TRACE从基础语言模型中蒸馏出一个隐马尔可夫模型来计算序列级别的属性概率，而ILQL则通过使用完整的Q学习而不仅仅是单步策略更新进一步Weng等人 (2025 (https://arxiv.org/html/2605.14004#bib.bib19))；Snell等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib20))。这些方法中的许多由于需要训练辅助模型而要求显著的计算开销，包括使用ILQL的三个独立的变换器模型Snell等人 (2022 (https://arxiv.org/html/2605.14004#bib.bib20))。值得注意的例外是TRACE和Director；然而，它们受到蒸馏隐马尔可夫模型的表现力和简单线性层的限制。CAT保持了变换器模型的完整表现力，但需要的计算开销远小于训练一个完整的辅助模型。

## 3 方法

### 3.1 定义

我们将数据建模为来自一个未知的序列博弈，其中规则、玩家、策略以及动作与观察之间的差异都是未知的。我们只能接触到它的游戏记录，其中包括动作和观察的混合序列以及关联的结果，我们将此结果视为序列级别属性 α\\alpha。该属性可以是二元的、多项的或数值的。在观察这些记录后，我们旨在解决两个问题：(1) 代理能否学会玩（即生成有效动作）？(2) 代理能否学会玩得好（即达到指定结果）？

每个博弈由一个序列 S=\[s1,s2,...,sN\]S=\[s\_\{1\},s\_\{2\},\.\.\.,s\_\{N\}\] 组成，其中 sis\_\{i\} 是观察或动作。我们不假设在训练期间需要区分这两者。我们使用 sns\_\{n\} 来表示序列中的下一个候选元素。为简化起见，我们将只考虑从离散语言 LL 中抽取的 sns\_\{n\}。对于序列 SS，存在一个未知函数 f\(S\)=P\(αi∣S\)f\(S\)=P\(\\alpha\_\{i\}\\mid S\)，该函数基于 SS 生成 αi∈A\\alpha\_\{i\}\\in A，我们在此将其视为博弈的结果。我们假设每个序列 SS 代表一个有效的博弈实例，但不假设它是从特定策略生成的。相反，它可以被视为来自平均策略分布 πμπ^\{μ\} 的一个样本。

### 3.2 模型

##### 联合分布：

一个未知博弈的记录可以从博弈过程序列及其结果属性的联合分布 P\(S,αi\)P\(S,\\alpha\_\{i\}\) 中抽取。标准的自回归分解为：

P\(S,αi\)\\displaystyle P\(S,\\alpha\_\{i\}\)=P\(αi∣S\)P\(S\)\\displaystyle=P\(\\alpha\_\{i\}\\mid S\)P\(S\)(1)P\(S\)\\displaystyle P\(S\)=∏i=1kP\(si∣s1,...,si−1\)\\displaystyle=\\prod\_\{i=1\}^\{k\}P\(s\_\{i\}\\mid s\_\{1\},\.\.\.,s\_\{i\-1\}\)(2)如果将 αi\\alpha\_\{i\} 视为一个额外的观察，则可以使用单个自回归模型来处理动作、游戏状态和游戏结果。然而，αi\\alpha\_\{i\} 的概率只能在基于完整序列的条件下进行估计。对于部分序列，必须使用 MC 模拟来估计 P\(αi,S\)P\(\\alpha\_\{i\},S\)。

##### 替代分解：

我们可以将 SS 视为由三部分组成的序列 \(Sa,sn,Sb\)\(S\_\{a\},s\_\{n\},S\_\{b\}\)：一个前缀序列 SaS\_\{a\}，包含所有在 sns\_\{n\} 之前的观察；一个下一个观察 sns\_\{n\}；以及一个后缀序列 SbS\_\{b\}，包含所有在 sns\_\{n\} 之后的观察。原始联合分布可以扩展为：

P\(αi,S\)=P\(αi,Sa,sn,Sb\)P\(\\alpha\_\{i\},S\)=P\(\\alpha\_\{i\},S\_\{a\},s\_\{n\},S\_\{b\}\)(3)我们可以将这个新的扩展联合分布分解为：

P\(αi,Sa,sn,Sb\)=P\(Sa\)⋅P\(sn∣Sa\)⋅P\(αi,Sb∣Sa,sn\)P\(\\alpha\_\{i\},S\_\{a\},s\_\{n\},S\_\{b\}\)=P\(S\_\{a\}\)\\cdot P\(s\_\{n\}\\mid S\_\{a\}\)\\cdot P\(\\alpha\_\{i\},S\_\{b\}\\mid S\_\{a\},s\_\{n\}\)(4)然后我们可以对 SbS\_\{b\} 进行边缘化：

∑SbP\(αi,Sa,sn,Sb\)=P\(Sa\)⋅P\(sn∣Sa\)⋅∑SbP\(αi,Sb∣Sa,sn\)\\sum\_\{S\_\{b\}\}P\(\\alpha\_\{i\},S\_\{a\},s\_\{n\},S\_\{b\}\)=P\(S\_\{a\}\)\\cdot P\(s\_\{n\}\\mid S\_\{a\}\)\\cdot\\sum\_\{S\_\{b\}\}P\(\\alpha\_\{i\},S\_\{b\}\\mid S\_\{a\},s\_\{n\}\)(5)从而得到：

P\(αi,Sa,sn\)=P\(Sa\)⏟前缀⋅P\(sn∣Sa\)⏟序列模型⋅P\(αi∣Sa,sn\)⏟属性模型P\(\\alpha\_\{i\},S\_\{a\},s\_\{n\}\)=\\underbrace\{P\(S\_\{a\}\)\}\_\{\\mathrm\{前缀\}\}\\cdot\\underbrace\{P\(s\_\{n\}\\mid S\_\{a\}\)\}\_\{\\mathrm\{序列模型\}\}\\cdot\\underbrace\{P\(\\alpha\_\{i\}\\mid S\_\{a\},s\_\{n\}\)\}\_\{\\mathrm\{属性模型\}\}(6)由于我们对 SbS\_\{b\} 的长度不做任何假设，因此该分解对于任何位置的 sns\_\{n\}（包括序列 SS 的末尾，此时 Sb=∅S\_\{b\}=\\varnothing）都是有效的。

##### 分布估计：

这种分解可以使用一个带有两个头的增强因果变换器来建模：一个用于估计 P\(sn∣Sa\)P\(s\_\{n\}\\mid S\_\{a\}\) 的下一个词元预测头，以及一个用于估计 P\(αi∣Sa,sn\)P\(\\alpha\_\{i\}\\mid S\_\{a\},s\_\{n\}\) 的条件属性预测头。前缀 P\(Sa\)P\(S\_\{a\}\) 由序列头自回归建模，使得能够从完整的联合分布 P\(αi,S\)P\(\\alpha\_\{i\},S\) 中进行采样。在此，我们使用一个共享的模型主干 fθf\_\{\\theta\} 来生成隐藏表示 HH。

fθ\(S\)=H,其中  fθ:S→Rdf\_\{\\theta\}\(S\)=H,\\quad\\text\{其中 \}f\_\{\\theta\}:S\\to\\mathbb\{R\}^\{d\}(7)这个表示被传递给两个头：

gψ\(H\)=P\(sn∣S\),其中  gψ:Rd→Δ\|L\|g\_\{\\psi\}\(H\)=P\(s\_\{n\}\\mid S\),\\quad\\text\{其中 \}g\_\{\\psi\}:\\mathbb\{R\}^\{d\}\\to\\Delta^\{\|L\|\}(8)hφ\(H,sn\)=P\(αi∣S,sn\),其中  hφ:Rd×L→{Δ\|A\|(类别属性)Rp(参数化属性)h\_\{\\phi\}\(H,s\_\{n\}\)=P\(\\alpha\_\{i\}\\mid S,s\_\{n\}\),\\quad\\text\{其中 \}h\_\{\\phi\}:\\mathbb\{R\}^\{d\}\\times L\\to\\begin\{cases\}\\Delta^\{\|A\|\}&\\text\{\(类别属性\)\}\\\\ \\mathbb\{R\}^\{p\}&\\text\{\(参数化属性\)\}\\end\{cases\}(9)这样，主干模型 fθf\_\{\\theta\} 包含关于下一个词元和属性的信息，而 gψg\_\{\\psi\} 和 hφh\_\{\\phi\} 提供任务特定的变换。函数 hφh\_\{\\phi\} 可以根据属性类型选择产生属性类别 logits 或分布参数。在此，我们使用二元、多项和数值属性来演示该模型。

### 3.3 推理

样本