No-Worse Context-Aware Decoding：在上下文条件生成中防止中性退化

# 无损上下文感知解码：防止条件生成中的中性退化
来源: https://arxiv.org/html/2604.16686
Yufei Tao 所属机构/地址行 1 所属机构/地址行 2 所属机构/地址行 3 email@domain &Ameeta Agrawal 所属机构/地址行 1 所属机构/地址行 2 所属机构/地址行 3 email@domain Yufei Tao Ameeta Agrawal 美国波特兰州立大学计算机科学系 \{yutao, ameeta\}@pdx\.edu

###### 摘要

在给定外部上下文（例如检索到的证据）的条件下，大型语言模型 \(LLMs\) 能够回答问题并总结文档，但上下文的利用仍不可靠：即使上下文缺乏信息量，模型也可能覆盖原本正确的输出（*中性退化*）。我们将中性退化形式化为一种“不伤害”要求，并通过测量在答案一致的上下文中基线正确项的准确率下降来量化该问题。我们提出无损上下文感知解码 \(NWCAD\)，这是一种基于双流架构并在解码时运行的适配器，采用双阶段门控机制：当上下文缺乏信息量时，它会回退到无上下文解码；否则，它将使用带上下文条件的解码，并在不确定时采用类 CAD 的回退策略。我们在基准测试上评估了 NWCAD，这些测试将“不伤害可靠性”与*上下文利用率*（在真正有益的上文下带来的准确率提升）分离开来。NWCAD 防止了在基线正确项上的中性退化，同时在有帮助的上下文中保持了强劲的上下文驱动准确率。

无损上下文感知解码：防止条件生成中的中性退化

Yufei Tao Ameeta Agrawal 美国波特兰州立大学计算机科学系 \{yutao, ameeta\}@pdx\.edu

## 1 引言

大型语言模型 \(LLMs\) 在提供外部上下文时可以回答问题并生成摘要，但上下文条件生成并非自动可靠。在许多上下文条件工作流中，如检索增强生成 \(RAG\)Lewis et al\. \(2020 (https://arxiv.org/html/2604.16686#bib.bib8)\); Izacard and Grave \(2021 (https://arxiv.org/html/2604.16686#bib.bib3)\)以及用户提供上下文，提供的段落通常*仅部分相关*：即使实际上并不蕴含正确答案，它也可能提及相关实体、类型匹配的事实或接近的数字。在这种情况下，对上下文进行条件 conditioning 会微妙地改变模型的下一个 token 分布，从而导致最终输出发生本可避免的变化。

我们将这种故障模式称为*中性退化*：尽管上下文实际上缺乏信息量，模型仍会覆盖一个已经正确的答案。标准评估中的聚合准确率很容易掩盖中性退化，这促使我们需要能够将中性案例与有益上下文案例分离开的评估方法。对称地，我们也关注上下文利用率：当上下文确实有益时，解码器应能利用它，而不是过度依赖模型参数化的答案。

参见图注图 1：NWCAD 概述展示了两种流输入。当无上下文流具有高置信度时，它保持无上下文的决策（防止中性退化）；当有上下文流具有高置信度时，它使用有上下文解码；否则调用类 CAD 风格的后退回退解码器。常见的补救措施是上下文感知解码：对比模型在有上下文和无上下文下的分布，并*倾斜*生成向那些因上下文而概率增加的 token 方向（例如，CAD 及其自适应变体，如 AdaCAD 和 CoCoAShi et al\. \(2023 (https://arxiv.org/html/2604.16686#bib.bib18)\); Wang et al\. \(2025a (https://arxiv.org/html/2604.16686#bib.bib23)\); Khandelwal et al\. \(2025 (https://arxiv.org/html/2604.16686#bib.bib4)\)）。虽然这些解码器在冲突案例的平均表现上有效，但它们缺乏不伤害保证：即使基础模型正确且上下文提供的证据微弱或有噪声，微小的分布变化也可能改变 token 选择，并级联导致不同（有时错误）的答案。

由于标准基准混合了中性和冲突上下文，中性退化会被平均准确率所掩盖；因此我们分别在以下两类问题上进行评估：\(i\) 无需上下文即可正确回答的问题（*不伤害*）和 \(ii\) 上下文可以纠正答案的问题（*上下文利用率*\)。这种分离也使核心权衡显式化：当上下文缺乏信息量时，解码器应保留无上下文输出；当它有信息量时，应偏向上下文以纠正答案。因此，实用的解码器应表现得像带有明确无上下文回退的适配器，而不是一直应用 logits 倾斜。这种精确回退能力与连续 logits 倾斜解码器存在定性差异：如果一种方法总是扰动 logits，它就无法保证在中性输入上重现无上下文输出。

为了缓解不伤害与上下文利用率之间的张力，我们提出无损上下文感知解码 \(NWCAD\)，这是一种基于双流架构并在解码时运行的适配器，配备双阶段门控以产生三路路由决策（图 1 \(https://arxiv.org/html/2604.16686#S1.F1\) 概述了架构）：它首先决定何时忽略上下文并保持无上下文解码（防止中性退化），当确需使用上下文时，则根据上下文信号的确定性，在标准上下文条件解码与对比解码之间进行路由。我们的主要贡献如下：

- •系统性地刻画中性退化，并构建受控评估实验，将不伤害可靠性与上下文利用率分离；
- •提出 NWCAD111https://github.com/CastGryff/NWCAD，一种双阶段门控，在贪婪解码下只要选择回退分支就能证明性地保留无上下文输出（即设 \(z^\{\prime t\}=z\_0^\{t\}\)）；
- •在多个模型和多样化的 QA 基准套件上评估 NWCAD 以检验泛化能力；以及
- •通过实验表明，大多数上下文感知解码在很大程度上简化为在无上下文与有上下文解码之间的*模式选择*，而对比混合往往很少需要。

## 2 相关工作

#### 检索增强生成 \(RAG\)。

检索增强生成 \(RAG\) 将上下文检索与条件生成耦合，以提高事实准确性并访问最新信息Lewis et al\. \(2020 (https://arxiv.org/html/2604.16686#bib.bib8)\); Izacard and Grave \(2021 (https://arxiv.org/html/2604.16686#bib.bib3)\)。近期研究指出，RAG 系统容易受到干扰证据和上下文稀释的影响，这激发了上下文选择和固定预算证据组装的研究Li and Ouyang \(2024 (https://arxiv.org/html/2604.16686#bib.bib9)\); Lahmy and Yozevitch \(2025 (https://arxiv.org/html/2604.16686#bib.bib6)\); Iratni et al\. \(2025 (https://arxiv.org/html/2604.16686#bib.bib2)\)。

#### 上下文锚定与验证。

广泛的研究致力于如何让生成忠于提供的证据，包括对事实性/忠实性的细粒度评估以及对锚定文档的轻量级验证Maynez et al\. \(2020 (https://arxiv.org/html/2604.16686#bib.bib13)\); Kryscinski et al\. \(2020 (https://arxiv.org/html/2604.16686#bib.bib5)\); Min et al\. \(2023 (https://arxiv.org/html/2604.16686#bib.bib14)\); Zhang et al\. \(2024 (https://arxiv.org/html/2604.16686#bib.bib26)\); Tang et al\. \(2024a (https://arxiv.org/html/2604.16686#bib.bib19)\); Tao et al\. \(2025 (https://arxiv.org/html/2604.16686#bib.bib21)\)。近期的 RAG 中心化框架进一步强调在实际检索噪声下的上下文忠实行为Nguyen et al\. \(2024 (https://arxiv.org/html/2604.16686#bib.bib16)\)。

#### 选择性回答与风险控制。

选择性预测/拒绝通过在不确定性较高时拒绝回答（或过滤生成内容）来权衡风险与覆盖率Tomani et al\. \(2024 (https://arxiv.org/html/2604.16686#bib.bib22)\); Nie et al\. \(2024 (https://arxiv.org/html/2604.16686#bib.bib17)\); Wang et al\. \(2025b (https://arxiv.org/html/2604.16686#bib.bib24)\)。这些方法通常在响应级别运行（例如，拒绝回答或采样后过滤），并为控制不确定性下的错误提供互补机制。

#### 上下文感知解码。

另一条研究路线直接通过对比有上下文和无上下文分布来修改解码过程。上下文感知解码 \(CAD\)Shi et al\. \(2023 (https://arxiv.org/html/2604.16686#bib.bib18)\) 偏向于在上下文存在时概率增加的 tokens。自适应 CAD \(AdaCAD\)Wang et al\. \(2025a (https://arxiv.org/html/2604.16686#bib.bib23)\) 根据两个分布的发散程度动态调整倾斜强度，减少但未消除过度修正。CoCoAKhandelwal et al\. \(2025 (https://arxiv.org/html/2604.16686#bib.bib4)\) 引入置信度信号（例如熵和间隔/集中度）以动态调制倾斜强度。这些方法提高了平均事实准确性，但共享两个局限性。第一，它们*没有提供非回归的形式化保证*：即使在基础模型已正确且上下文未增加新信息的中性输入上，它们仍可能改变输出。第二，它们的连续 logits 重加权在低冲突设置中仍可能翻转 token 选择，即使上下文几乎没有提供新信息。

NWCAD 是一种针对条件生成的解码时适配器，专门针对中性退化问题。相对于响应级拒绝或基于验证器的方法，它不需要额外模型，直接在 token 分布上操作。相对于 CAD/AdaCAD/CoCoA 风格的双流上下文感知解码，它在低发散步骤增加了明确的无上下文解码回退，从而在贪婪解码下实现步级中性退化防护，并通过简单阈值使不伤害与上下文利用率的权衡可调。

## 3 方法论

本节形式化我们的问题设置并介绍无损上下文感知解码 \(NWCAD\)。

### 3.1 设置与定义

我们假设一个从左到右的自回归语言模型，词表为 \(V\mathcal{V}\)，考虑在给定固定提示（例如问题）和可选上下文（例如检索段落）条件下的生成。在解码步 \(tt\)，有上下文和无上下文流共享相同的已生成前缀，区别仅在于是否包含外部上下文。

令 \(z\_\{c\}\^\{t\}\\in\\mathbb{R}\^\{\|\mathcal{V}\|\}\) 为 conditioning on the *contextual input* (context + prompt + prefix) 获得的 logits，令 \(z\_\{0\}\^\{t\}\) 为 conditioning on the *context-free input* (prompt + prefix only) 获得的 logits。我们将对应的下一个 token 分布记为：

\(p\_\{c\}\^\{t\}=\\text{softmax}(z\_\{c\}\^\{t\}),\quad p\_\{0\}\^\{t\}=\\text{softmax}(z\_\{0\}\^\{t\})\)。

我们使用两个轻量级信号来决定何时信任每个流：\((i)\) 基于发散的*上下文压力*分数，以及 \((ii)\) 基于 Top-1 间隔的简单*置信度*分数。

对于发散度，令 \(D\^\{t\}\) 表示步 \(t\) 两个 token 分布之间的 Jensen-Shannon 散度，\(D\^\{t\}=\\text{JS}(p\_\{c\}\^\{t\}\\,\\\|\\,p\_\{0\}\^\{t\})\)。由于在整个词表上计算 JS 代价高昂，我们在两个流的 Top-\(KK\) tokens 的并集上进行近似（我们使用 \(K\{=\}50\)）。该 Top-\(KK\) 近似与完整词表 JS 高度吻合，且不改变代表性 QA 样本上的中立性/回退决策（见附录 A \(https://arxiv.org/html/2604.16686#A1\)）。我们将低发散作为“中性”步（上下文未实质性改变下一个 token 决策）的代理，将高发散作为“冲突”步（上下文施加压力）：

\(\text{Neutral}(t)\;=\;\{\,D\^\{t\}\leq\tau\,\}\)。

\(D\^\{t\}\) 衡量上下文改变了模型的下一个 token 分布的程度。当 \(D\^\{t\}\) 较小时，两个流达成共识；这与非 informative 上下文一致，但单独不足以判断（例如，两个流可能都不确定但相似）。因此，我们将发散度与置信度间隔结合，在认为回退安全之前进行处理。

对于置信度，我们使用分布的 Top-1 间隔，即最可能 token 与次可能 token 之间的概率差。我们用 \(p\_\{1\}\-p\_\{2\}\) 表示该间隔，并将其作为代理来衡量某一流在特定步的“果断程度”。间隔让我们能够区分高置信度下的共识（安全回退）与不确定性下的共识（转向上下文侧）。

### 3.2 从上下文感知解码到无损解码

CAD、AdaCAD 和 CoCoA 等上下文感知解码方法通过*倾斜*合并无上下文流和有上下文流，偏向于因上下文而概率增加的 tokens。一种典型形式为：

\(z\_\{\text{CAD}\}\^\{t\}\;=\;z\_\{c\}\^\{t\}\;\+\\alpha(z\_\{c\}\^\{t\}\-z\_\{0\}\^\{t\})\;=(1+\alpha)z\_\{c\}\^\{t\}-\alpha z\_\{0\}\^\{t\}\)，

其中 \(\alpha\\alpha\) 为固定值（CAD）或基于发散度或置信度信号的自适应调度 \(\alpha\^\{t\}\)（AdaCAD, CoCoA）。这些方法可以改善冲突案例的平均表现，但引入了一个关键故障模式：*中性退化*。即使上下文未增加有用信息，倾斜仍然被应用，因此微小的分布差异即可改变 token 选择并级联导致不同序列。

相比之下，NWCAD 是一个适配器而非新的倾斜规则：它可以在中性步精确回退到无上下文流，否则路由到标准有上下文解码或 CAD 风格后备解码器。NWCAD 通过在上下文看似缺乏信息量时回退到无上下文解码来解决中性退化，同时允许在上下文有益时进行上下文驱动的修正。

中性阈值 \(\tau\\tau\) 控制这一权衡：较大的 \(\tau\\tau\) 使解码器更保守（更多回退到无上下文流），而较小的 \(\tau\\tau\) 提高上下文利用率。与连续倾斜（始终扰动 logits）不同，显式门控可以精确复制 \(z\_\{0\}\^\{t\}\)；在贪婪解码下，这防止了微弱的上下文压力翻转 argmax token 并级联导致不同答案。

### 3.3 无损上下文感知解码 (NWCAD)

NWCAD 维护两个并行前向传播（有上下文 vs 无上下文），并使用双阶段门控在每个步骤选择从哪个 logits 进行解码。

#### 阶段 1 (BC 门控；基线正确)：精确回退到无上下文流。

当两个分布一致 (\(D\^\{t\}\\leq\\tau\)) 且无上下文流果断 (\(p\_\{0,1\}\^\{t\}-p\_\{0,2\}\^\{t\}\\geq\\kappa\_\{\text{pri}\}\)) 时，我们从无上下文流复制 logits：\(z^\{\prime t\}=z\_\{0\}\^\{t\}\)。在贪婪解码下，只要阶段 1 适用且我们设定 \(z^\{\prime t\}=z\_\{0\}\^\{t\}\)，步 \(t\) 的下一个 token 将与无上下文流的完全相同（立即生效，因为 \(\arg\max_i z^\{\prime t\}\_i=\arg\max_i z\_{0,i}\^\{t\}\)）。因此，如果阶段 1 在每一步都适用，整个解码序列将精确匹配无上下文输出。

#### 阶段 2 (CC 门控；上下文可信)：当果断时使用上下文；否则回退。

如果阶段 1 不适用，我们路由到上下文侧。如果有上下文流果断 (\(p\_\{c,1\}\^\{t\}-p\_\{c,2\}\^\{t\}\\geq\\kappa\_\{\text{ctx\}}\))，我们从 \(z\_\{