外部观察者的必要性：形式化充分性差距——混合可识别性与序列模型中上下文基础的数学扩展

# 外部观察者的必要性：充分性差距的形式化——序列模型中混合可辨识性与上下文接地的数学扩展
来源：https://arxiv.org/html/2605.26711

###### 摘要

Corielli \(2026 (https://arxiv.org/html/2605.26711#bib.bib10)\) 认为，当且仅当观察到的文本前缀是延续相关潜在环境的近似充分统计量时，下一 token 预测才在认知上有用。本文对该论点提出了一个与模型无关的玩具形式化。我们构建了一个二元混合模态过程，包含一个确定性文本模态和一个由未观察潜在状态控制的随机模态。即使是一个完美恢复纯文本边际分布的理想无限容量序列预测器，当观察到的前缀与错误的潜在模态兼容时，也可能变得过度自信。由此产生的熵差并非普通的优化误差，而是由未观察状态边际化导致的充分性差距。然后，我们通过一个保真度为 \(\gamma \in [1/2, 1]\) 的辅助二元信号形式化检索、工具使用和外部接地。生成的贝叶斯更新产生了一个上下文主导阈值：当纠正信号的保真度超过文本历史赋予误导模态的后验权重时，它恰好能逆转由文本历史诱导的后验比值。该阈值减小了充分性差距，但通常无法消除；完全消除需要完美揭示相关的潜在状态或等效的验证机制。该分析阐明了为什么温度缩放无法恢复缺失的上下文，为什么接地机制必须既具有信息量又能够被模型学习使用，以及为什么自主序列模型在高风险领域需要结构上解耦的观察者或验证者。

## 1 引言

语言建模的一种常见描述是，模型估计或近似给定观察到的文本前缀条件下的下一 token 条件分布，这一观点源自统计语言建模和语言预测的信息论解释（Shannon, 1948 (https://arxiv.org/html/2605.26711#bib.bib24), 1951 (https://arxiv.org/html/2605.26711#bib.bib25); Manning and Schuetze, 1999 (https://arxiv.org/html/2605.26711#bib.bib18); Rosenfeld, 2000 (https://arxiv.org/html/2605.26711#bib.bib22)）。这种描述仅在额外假设下才具有统计意义。在神经语言建模中，包括早期的神经概率模型和后来的基于 Transformer 的系统，训练语料库由已实现的 token 轨迹组成，而非直接观察到的条件分布（Bengio et al., 2003 (https://arxiv.org/html/2605.26711#bib.bib3); Vaswani et al., 2017 (https://arxiv.org/html/2605.26711#bib.bib28); Radford et al., 2019 (https://arxiv.org/html/2605.26711#bib.bib21); Brown et al., 2020 (https://arxiv.org/html/2605.26711#bib.bib8)）。此外，人类语言产生不仅依赖于前文词汇，还依赖于事实、意图、目标、制度、信念、物理环境和特定任务约束；这一点与 Bender 和 Koller (2020 (https://arxiv.org/html/2605.26711#bib.bib2)) 强调的形式与接地意义之间的区别密切相关。Corielli (2026 (https://arxiv.org/html/2605.26711#bib.bib10)) 区分了三个常被混淆的对象：完整的条件语言过程、通过积分掉潜在环境而得到的边际纯文本分布，以及从有限语料中学习到的模型诱导分布。

本文将这一区分转化为一个紧凑的分析示例。我们构建一个由两种模态组成的二元数据生成过程。在一种模态中，可观察的文本序列是确定性的且严格交替。在另一种模态中，它是独立的公平硬币。潜在模态不直接可观察。因此，一个理想的纯文本预测器从观察到的前缀推断模态的后验概率，并根据得到的混合条件进行预测。该模型相对于纯文本边际分布可以是统计上最优的，但在实际潜在状态中仍可能在认知上具有误导性。

分析的核心对象是*充分性差距*：在相关潜在状态条件下的真实延续熵与纯文本边际预测熵之间的差距。用 Corielli (2026 (https://arxiv.org/html/2605.26711#bib.bib10)) 更广泛的术语来说，在异质性、历史采样且仅部分遍历的档案中，这种差距在操作上变得危险。尽管如此，本文的数学点更为尖锐：即使在完美恢复边际纯文本分布后，这种失败也可能出现。问题不仅在于模型容量不足或优化不佳。而是边际化导致潜在状态信息丢失。

然后，本文引入一个辅助的接地信号。该信号代表检索增强生成、工具使用、程序检查、人工审核或任何提供关于被忽略潜在状态证据的外部观察者。其保真度参数化为 \(\gamma \in [1/2, 1]\)。得到的后验更新给出了一个闭式上下文主导阈值。如果接地信号相对于由误导前缀诱导的纯文本后验噪声过大，则档案诱导的结构偏差仍然占主导。如果信号足够精确，它会逆转后验比值并减小充分性差距。然而，完全消除差距需要完美或有效完美地访问潜在状态。

本文的贡献故意与架构无关。分析不依赖于 Transformer、参数数量、强化学习或任何特定的解码系统。它适用于任何在已实现序列上训练并通过纯文本或增强条件分布进行评估的预测器。

## 2 背景：三种不同的分布

设 \(X_t\) 表示位置 \(t\) 的 token，且

\(X_{\leq t} = (X_1, \ldots, X_t)\)

为观察到的文本历史。设 \(Z_t\) 表示与产生或评估下一 token 相关的非文本环境。这些可能包括世界状态、事实、说话者信念、目标、意图、任务约束、制度背景以及其他潜在变量。

根据 Corielli (2026 (https://arxiv.org/html/2605.26711#bib.bib10))，区分三种分布是有用的。

1. (i) **完整条件过程** \(p_{\mathrm{full}}(x_{t+1} \mid x_{\leq t}, z_t)\)，它同时以文本和潜在环境为条件。
2. (ii) **边际纯文本分布** \(p_{\mathrm{marg}}(x_{t+1} \mid x_{\leq t}) = \int p_{\mathrm{full}}(x_{t+1} \mid x_{\leq t}, z) \, p(z \mid x_{\leq t}) \, dz\)，它在给定文本条件下对潜在环境进行平均。
3. (iii) **模型诱导预测分布** \(p_{\theta}(x_{t+1} \mid x_{\leq t})\)，即训练模型实际表示的分布。

本文假设一个理想化极限，其中模型诱导分布完美恢复相关的纯文本边际分布，抽象掉熟悉统计学习理论中的有限样本估计和优化问题（Bishop, 2006 (https://arxiv.org/html/2605.26711#bib.bib5)）。这消除了有限数据、架构和优化失败的影响，并分离出条件独立性问题，而非普通的估计误差。如果在此理想化下仍存在差距，那么它是结构性的，而不仅仅是经验性的。

有用性条件是局部充分性。当满足以下条件时，文本前缀对于延续是充分的：

\(X_{t+1} \perp Z_t \mid X_{\leq t}\), (1)

或近似满足：

\(I(X_{t+1}; Z_t \mid X_{\leq t}) \approx 0\). (2)

如果这个条件不成立，正确的纯文本边际条件分布可能仍然是对实际情境特定条件分布的不良指导。

## 3 一个二元混合模态过程

现在我们定义一个最小过程，使充分性失效显式化。设潜在模态过程 \(\{Z_t\}_{t \geq 1}\) 取值为 \(\{0, 1\}\)。我们将潜在变量索引为 \(Z_{t+1}\)，当它控制 \(X_{t+1}\) 的生成时。这通过一步重索引等同于使用 \(Z_t\) 作为延续相关的潜在状态。

令 \(\mathcal{V} = \{0, 1\}\) 为词汇表，并令 \(\mathcal{H}_t = \sigma(X_1, \ldots, X_t)\) 表示文本滤子。假设潜在过程是一个齐次马尔可夫链，具有对称保持概率 \(\rho \in (1/2, 1)\)，使用标准随机过程符号（Doob, 1953 (https://arxiv.org/html/2605.26711#bib.bib11)）：

\(\operatorname{P}(Z_{t+1} = i \mid Z_t = i) = \rho, \quad i \in \{0, 1\}\). (3)

\(\rho\) 的具体值对下面的熵计算不重要；它提供了一个简单的模态持续性来源。将经验语料频率解释为稳定过程信息依赖于遍历性假设，这类假设由 Birkhoff (1931 (https://arxiv.org/html/2605.26711#bib.bib4)) 经典形式化。

完整条件分布定义如下。

**模态 0：确定性文本模态。** 下一个 token 确定性地交替：

\(\operatorname{P}(X_{t+1} = x \mid \mathcal{H}_t, Z_{t+1} = 0) = \mathbf{1}_{\{x = 1 - X_t\}}\). (4)

**模态 1：随机潜在模态。** 下一个 token 是独立的公平硬币：

\(\operatorname{P}(X_{t+1} = x \mid \mathcal{H}_t, Z_{t+1} = 1) = \frac{1}{2}, \quad x \in \{0, 1\}\). (5)

理想的纯文本预测器通过对潜在模态的后验分布进行积分来恢复边际条件分布：

\(\displaystyle p_{\mathrm{marg}}(X_{t+1} = x \mid \mathcal{H}_t) = \sum_{k \in \{0, 1\}} \operatorname{P}(Z_{t+1} = k \mid \mathcal{H}_t) \operatorname{P}(X_{t+1} = x \mid \mathcal{H}_t, Z_{t+1} = k)\). (6)

定义

\(\pi_{t,0} := \operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)\). (7)

对于交替延续 \(x = 1 - X_t\)，边际分布变为

\(p_{\mathrm{marg}}(X_{t+1} = 1 - X_t \mid \mathcal{H}_t) = \pi_{t,0} + \frac{1}{2}(1 - \pi_{t,0}) = \frac{1}{2}(1 + \pi_{t,0})\). (8)

###### 假设 1 (误导模态的完全支撑)

模态上的先验具有完全支撑，且观察到的交替历史在模态 0 下具有正似然。因此，只要观察到的历史与模态 0 兼容，就有 \(\pi_{t,0} > 0\)。

该假设避免了在观察交替前缀后将确定性模态视为不可能。它是纯文本后验对误导结构解释赋予正权重所需的最小支撑条件。

## 4 纯文本混合的熵

令 \(H_2: [0,1] \to [0,1]\) 表示以比特为单位的二元熵（Cover and Thomas, 2006 (https://arxiv.org/html/2605.26711#bib.bib9)）：

\(H_2(p) = -p \log_2 p - (1-p) \log_2 (1-p)\). (9)

###### 引理 1 (纯文本混合的熵)

设 \(\alpha = (1 + \pi)/2\)，其中 \(\pi \in [0,1]\)。那么 \(H_2(\alpha) = 1\) 当且仅当 \(\pi = 0\)。此外，\(H_2(\alpha)\) 在 \((0,1)\) 上关于 \(\pi\) 严格递减。

**证明。**

由链式法则，

\(\frac{d}{d\pi} H_2\! \left( \frac{1+\pi}{2} \right) = \frac{1}{2} \log_2 \left( \frac{1-\alpha}{\alpha} \right) = \frac{1}{2} \log_2 \left( \frac{1-\pi}{1+\pi} \right)\). (10)

对于 \(\pi \in (0,1)\)，比值 \((1-\pi)/(1+\pi)\) 位于 \((0,1)\) 内，因此导数为严格负。在 \(\pi=0\) 时，\(\alpha=1/2\) 且 \(H_2(1/2)=1\)。对于 \(\pi>0\)，严格单调性给出 \(H_2(\alpha)<1\)。∎

## 5 定理 1：充分性差距与虚假权威

###### 定理 1 (潜在模态失配下的充分性差距)

假设真实的延续模态是模态 1，即 \(Z_{t+1}=1\)，但已实现的文本历史 \(\mathcal{H}_t\) 与确定性交替序列兼容且满足假设 1。则理想纯文本边际模型的预测熵严格低于真实条件熵：

\(\Delta H := H(p_{\mathrm{full}} \mid \mathcal{H}_t, Z_{t+1}=1) - H(p_{\mathrm{marg}} \mid \mathcal{H}_t) > 0\). (11)

**证明。**

在模态 1 下，真实条件分布是二元词汇上的均匀分布。因此，

\(H(p_{\mathrm{full}} \mid \mathcal{H}_t, Z_{t+1}=1) = 1 \quad \text{bit}\). (12)

根据式 (8)，纯文本边际预测器赋予交替延续的概率为

\(\alpha = \frac{1}{2}(1 + \pi_{t,0})\) (13)

赋予非交替延续的概率为 \(1-\alpha\)。由假设 1，\(\pi_{t,0} > 0\)。引理 1 因此表明

\(H(p_{\mathrm{marg}} \mid \mathcal{H}_t) = H_2(\alpha) < 1\). (14)

因此，

\(\Delta H = 1 - H_2(\alpha) > 0\). (15)

∎

该定理证明，即使对于统计上理想的纯文本预测器，虚假权威也可能出现。模型并非犯了优化错误；它是在给定文本中可用信息的情况下应用正确的边际分布。错误是认知上的：当前潜在状态是随机的，但观察到的前缀与确定性结构模态兼容。没有额外信息，模型无法区分真正的不变性与误导性的局部偶然。

因此，在定理本身中，术语*充分性差距*在数学上比*遍历性差距*更为精确。在 Corielli (2026 (https://arxiv.org/html/2605.26711#bib.bib10)) 更广泛的解释中，异质的非遍历档案放大了这一问题，因为它们包含许多局部模态，其文本特征可能被混淆、迁移或过度泛化。

## 6 温度缩放无法恢复潜在充分性

对过度自信生成的常见回应是提高采样温度，这是已知影响神经文本生成多样性和退化现象的几种解码选择之一（Holtzman et al., 2020 (https://arxiv.org/html/2605.26711#bib.bib13)）。然而，温度重塑的是模型诱导分布；它并不能恢复被忽略的潜在变量。在二元情况下，如果未缩放时交替 token 的纯文本边际概率为 \(\alpha > 1/2\)，温度 \(T>0\) 产生

\(p_T(X_{t+1} = 1 - X_t \mid \mathcal{H}_t) = \frac{\alpha^{1/T}}{\alpha^{1/T} + (1-\alpha)^{1/T}} = \frac{1}{1 + \left(\frac{1-\alpha}{\alpha}\right)^{1/T}}\). (16)

因为 \(\alpha > 1/2\)，比值 \((1-\alpha)/\alpha < 1\)，因此对于任意有限温度 \(T\)，我们有 \(p_T > 1/2\)。只有在极限 \(T \to \infty\) 时（即均匀采样），分布才变得均匀。但

\(p_T(X_{t+1} = 1 - X_t \mid \mathcal{H}_t) = \frac{1}{2}\)，当且仅当 \(T \to \infty\)。 (17)

极限 \(T \to \infty\) 对应于采样随机性，但抹去了所有信息内容；预测变得像在未知确切潜在状态下的真实分布一样不确定。在有限且更典型的温度值问题上，我们仍有 \(\Delta H_T > 0\)。因此，温度缩放既不能消除充分性差距，也不能将条件分布重新校准为未知真实状态下的条件分布。温度缩放改变的是预测分布的熵，而非真实状态下的条件熵。

需要强调的是，问题并非校准不足（Guo et al., 2017 (https://arxiv.org/html/2605.26711#bib.bib12)）。对于纯文本边际分布，模型可能是完美校准的：它的置信度精确匹配由文本历史支撑的边际概率。但这不是我们所需要的置信度。我们需要的是关于未知潜在状态的条件分布，而这在纯文本中通常是无法获得的。校准指的是模型预测与正确边际分布之间的对齐。充分性差距指的是边际分布与隐藏状态下的条件分布之间的差异。一种改善校准的变换，例如温度缩放，并不会趋向于正确的条件分布，只会趋向于纯粹的随机性。

## 7 接地信号与上下文主导阈值

我们引入一个二元接地信号 \(S \in \{0, 1\}\)，它提供了关于潜在状态 \(Z_{t+1}\) 的证据。我们将该信号建模为噪声观察，其误差对称且保真度参数化为 \(\gamma \in [1/2, 1]\)：

\(\operatorname{P}(S = 1 \mid Z_{t+1} = 1) = \gamma, \quad \operatorname{P}(S = 0 \mid Z_{t+1} = 0) = \gamma\). (18)

这去掉了提示工程、检索相关性和工具调用的细节，仅捕获核心概念：外部来源将关于潜在状态的证据注入系统的预测分布。

假设 \(S\) 在给定 \(Z_{t+1}\) 的条件下独立于文本历史。那么后验比值变为：

\(\frac{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t, S)}{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t, S)} = \frac{\operatorname{P}(S \mid Z_{t+1} = 1)}{\operatorname{P}(S \mid Z_{t+1} = 0)} \cdot \frac{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t)}{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)}\). (19)

###### 定理 2 (上下文主导阈值)

假设 \(S = 1\) 且真实潜在状态为 \(Z_{t+1} = 1\)。那么接地信号后模态的后验比值超过纯文本后验比值当且仅当

\(\gamma > \frac{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)}{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t)}\). (20)

在这种条件下，接地后验 \(p(Z_{t+1} = 1 \mid \mathcal{H}_t, S) > p(Z_{t+1} = 1 \mid \mathcal{H}_t)\)，因此文本诱导的误导性后验概率被部分或完全逆转。

**证明。**

似然比为

\(L := \frac{\operatorname{P}(S = 1 \mid Z_{t+1} = 1)}{\operatorname{P}(S = 1 \mid Z_{t+1} = 0)} = \frac{\gamma}{1 - \gamma}\). (21)

在 \(L > 1\) 的条件下，后验比值超过先验比值。该条件等价于 \(\gamma > 1 - \gamma\)，即 \(\gamma > 1/2\)。更严格地，接地后验大于纯文本后验的条件是：

\(\frac{\gamma}{1 - \gamma} \cdot \frac{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t)}{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)} > \frac{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t)}{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)}\),

这简化为 \(\gamma/(1-\gamma) > 1\)，即 \(\gamma > 1/2\)。为了主导文本诱导的后验信念——即 \(p(Z_{t+1} = 1 \mid \mathcal{H}_t, S) > p(Z_{t+1} = 0 \mid \mathcal{H}_t, S)\)——我们需要后验比值大于 1：

\(\frac{\gamma}{1 - \gamma} \cdot \frac{\operatorname{P}(Z_{t+1} = 1 \mid \mathcal{H}_t)}{\operatorname{P}(Z_{t+1} = 0 \mid \mathcal{H}_t)} > 1\),

这给出不等式 (20)。∎

该阈值具有直观性：当文本历史强烈暗示模态 0 时——即 \(\pi_{t,0}\) 接近于 1——则纯文本后验比值 \((\operatorname{P}(Z_{t+1}=0 \mid \mathcal{H}_t))/(\operatorname{P}(Z_{t+1}=1 \mid \mathcal{H}_t))\) 很大，因此需要高保真度 \(\gamma\) 来逆转它。相反，如果文本证据是混合的或者模态 1 的可能性大致相等，则即使中等保真度的外部信号也足以提供校正。

在一个典型的分支点处，文本后验概率高度偏向误导性模态，例如 \(\pi_{t,0} = 0.95\)，此时纯文本后验比值约为 \(0.95/0.05 = 19\)。所需的最小保真度约为 \(\gamma > 19/(1+19) = 0.95\)。在倒置方向下，\(\pi_{t,0} = 0.05\) 时，所需保真度约为 \(\gamma > 0.05/(1+0.05) \approx 0.048\)——实际上任何有信息的信号都足够。实际含义是：接地机制只有在足够精确以克服档案主导的误导性后验时才有用。当文本诱导的偏差很大时，噪声或弱的接地源可能会维持或仅略微改变结构偏差。

## 8 接地后的充分性差距

我们将充分性差距重新定义为接地后预测熵与真实潜在状态下的条件熵之间的差异。由于接地信号提供了关于潜在状态的部分信息，接地后的边际分布（通过对潜在状态进行边际化，但结合了 \(S\)）的熵介于纯文本熵和真实条件熵之间。

###### 定理 3 (接地后的充分性差距)

对于接地信号 \(S\)，接地后预测的熵满足：

\(1 \geq H(p_{\mathrm{marg}} \mid \mathcal{H}_t, S) \geq H(p_{\mathrm{true}}) = 1\) 当真实模态为 1 时？实际上，真实条件熵依赖于潜在状态。在真实状态为随机（模态 1）的情况下，真实条件熵为 1 比特。接地后预测的熵受限于 \(1\) 并随着信号信息量的增加而趋近于 1。

更精确地说，如果 \(p_{\mathrm{marg}}(X_{t+1}=1-X_t \mid \mathcal{H}_t, S) = \frac{1}{2}(1 + \pi_{t,0}(S))\)，其中 \(\pi_{t,0}(S) = \operatorname{P}(Z_{t+1}=0 \mid \mathcal{H}_t, S)\)，则

\(\Delta H_{\text{grounded}} = 1 - H_2\big( \frac{1 + \pi_{t,0}(S)}{2} \big) \leq \Delta H_{\text{ungrounded}}\), (22)

且 \(\Delta H_{\text{grounded}} = 0\) 当且仅当 \(\pi_{t,0}(S) = 0\)——即接地后对模态 0 的后验概率为零。

**证明。**

接地后预测的熵形式与引理 1 相同，但以 \(\pi_{t,0}(S)\) 为参数，而非 \(\pi_{t,0}\)。由于 \(H_2\) 关于 \(\pi\) 是递减的，且 \(\pi_{t,0}(S) \leq \pi_{t,0}\)（因为信号 \(S=1\) 倾向于模态 1），我们有 \(H_2(\frac{1+\pi_{t,0}(S)}{2}) \geq H_2(\frac{1+\pi_{t,0}}{2})\)，因此 \(\Delta H_{\text{grounded}} \leq \Delta H_{\text{ungrounded}}\)。当 \(\pi_{t,0}(S) = 0\) 时，预测分布变为均匀分布，熵等于 1。∎

为了完全关闭差距，我们需要 \(\pi_{t,0}(S)=0\)。当 \(\gamma=1\)（完美信号）或当文本和接地信号共同提供模态 0 的不可能证明时，这种情况发生。更一般地，通过结合多个独立质量适当的外部信号，差距可以减少到任意小值，但完全消除只有在完美揭示相关潜在状态（或等效的验证，例如正式证明、确定性模拟或确定性程序输出）时才发生。

## 9 论证与适用范围

分析揭示了关于基于序列的推理系统结构局限性的五个点。

**