使用正确评估方法估算语言模型中的罕见事件

# 语言模型中罕见事件的估计与正确评估来源：https://arxiv.org/html/2607.18454
Nikita Y. Parulekar [email protected] 约翰霍普金斯大学
Anqi Liu [email protected] 约翰霍普金斯大学

###### 摘要

量化语言模型中罕见故障的风险（例如由对抗性分布偏移或超大规模部署引发的故障），需要估计随机采样无法企及的概率。尽管最近的工作已将低概率估计形式化，但现有的流水线在最稀有的区域仍然脆弱：估计器可能遭受零估计崩溃或系统性偏差，而标准评估损失可能变得不稳定或与不对称的安全成本不匹配。在这项工作中，我们引入了梯度激活自适应多层分割（GA-AMLS），它将罕见事件蒙特卡洛方法适应于语言模型的连续激活空间。具体来说，GA-AMLS 使用基于梯度的 MCMC 核来导航激活空间，消除了输入空间搜索的零估计崩溃，并用在显式的、重尾激活先验下的条件采样取代了先前激活空间估计器的独立性假设。我们还提出了移位幂布雷格曼（SPB）损失，这是一种适当的评分规则，对于零估计保持有限，并在低估和高估惩罚之间提供可调的不对称性。在小型 Transformer 模型上的实验揭示了一个偏差-方差权衡：在对称评估下，GA-AMLS 实现了最低损失，相对于跨模型大小的最强基线减少了平均对数空间平方误差，而具有高估偏差的方法在不对称惩罚下占优。我们的发现强调，估计器的选择应与部署上下文相匹配。更广泛地说，我们的工作建立了激活空间作为语言模型中罕见事件估计的一个可处理领域，规避了离散输入空间搜索的脆弱性。

## 1 引言

现代大型语言模型（LLM）通过在训练期间最小化期望损失来泛化到新输入。然而，这种平均目标使它们容易在一小部分罕见输入上产生高度不期望的输出。虽然这些事件在训练期间可能在统计上微不足道，但故障的罕见性通常是相对的。在部署中，分布偏移——无论是通过对抗性越狱制造还是由于目标错误泛化而偶然发生（Shahet al.,2022 (https://arxiv.org/html/2607.18454#bib.bib31)）——都可能使这些灾难性故障变得更加常见。此外，在自动驾驶或医疗基础设施等安全关键应用中，即使单个故障也可能是不可接受的。此外，语言模型的大规模使用可能使低概率事件成为必然。因此，对于精确的低概率估计（LPE）方法的需求日益增长：即量化模型产生特定有害输出的可能性的能力，即使该概率非常小，例如在10^{-5}和10^{-9}之间，这是朴素采样在计算上不可行的范围。

遵循 Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 引入的问题设置，我们在 argmax 采样的背景下研究 LPE，目标是估计在计算约束的预算内，特定目标标记将具有最大输出 logit 的概率，如图1(a) (https://arxiv.org/html/2607.18454#S1.F1.sf1) 所示。由 Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 建立的现状包括两类方法。输入空间重要性采样搜索离散标记空间；对于最罕见的目标，它通常无法找到任何触发输入，将估计值崩溃为零，并且还需要昂贵的完整反向传播和对精确输入序列概率的了解。激活空间替代方案，二次 logit 分解（QLD），通过将白化的激活组件视为独立来避免零估计，从 n 个经验激活产生 n^2 个合成候选。但白化仅保证不相关性，而非独立性，而语言模型激活具有重尾、异常值主导的结构（Sunet al.,2024 (https://arxiv.org/html/2607.18454#bib.bib20); Dettmerset al.,2022 (https://arxiv.org/html/2607.18454#bib.bib26)），这些结构在白化后可能仍然存在；经验上，产生的失真主要表现为对罕见事件的高估。最后，用于比较这些方法的指标，即 Itakura-Saito (IS) 损失和对数空间平方误差损失，在零估计处未定义，Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 使用一种需要已知真实概率的仿射校准来修补。

在图标题中(a) 低概率估计设置。(b) GA-AMLS 和 QLD 在冒号分布和 1 层模型上的估计。每个点代表不同的目标标记。
图 1：低概率估计设置和 GA-AMLS 估计概览。

在本文中，我们通过两个耦合贡献来解决当前 LPE 方法的算法和评估限制：一个激活空间估计算法，以及一个数值稳定的评估指标，使得比较所有估计器（包括那些估计值崩溃为零的）成为可能。首先，我们提出梯度激活自适应多层分割（GA-AMLS），它将自适应多层分割（AMLS）算法（Guyaderet al.,2011 (https://arxiv.org/html/2607.18454#bib.bib33)）适应于完全在语言模型的连续激活空间内运行。虽然 Webbet al. (2019 (https://arxiv.org/html/2607.18454#bib.bib122)) 之前将 AMLS 应用于输入空间中的计算机视觉模型，但据我们所知，我们是第一个将其应用于语言模型激活空间的方法。图2 (https://arxiv.org/html/2607.18454#S1.F2) 给出了 GA-AMLS 的示意图，而图1(b) (https://arxiv.org/html/2607.18454#S1.F1.sf2) 预览了它与最强激活空间基线 QLD 在代表性分布上的比较。通过在激活空间工作，我们可以估计尾部概率，而无需重要性采样所需的昂贵完整反向传播。我们还避免了计算原始分布下输入序列概率的需要，这是重要性采样方法计算重要性权重所需的。相反，我们将寻找触发目标标记的激活分解为一系列中间水平，使用基于梯度的 Metropolis 调整 Langevin 算法（MALA）核（Roberts and Tweedie,1996 (https://arxiv.org/html/2607.18454#bib.bib36); Srinivasanet al.,2025 (https://arxiv.org/html/2607.18454#bib.bib138)）在每一层内引导采样器。MALA 核的漂移项允许演化的激活保持“接近”输入分布的典型激活，而自适应层逐渐向故障区域引导。这用条件采样（在显式先验下）取代了 QLD 的基于独立性的重组。理想化的 AMLS 是其采样分布尾部概率的无偏估计器（Cérouet al.,2019 (https://arxiv.org/html/2607.18454#bib.bib125)）；因为我们的 MCMC 核目标是拟合的激活先验而非真实激活分布，GA-AMLS 仅在先验失配的程度上继承这一保证（第7节 (https://arxiv.org/html/2607.18454#S7)）。

其次，我们引入*移位幂布雷格曼*（SPB）损失，这是一族为评估稀有概率估计而设计的适当评分规则散度。当估计器恰好返回零时，SPB 保持有限，通过一个可解释的不对称参数支持低估和高估惩罚之间的可调不对称性，并在真实概率的几个数量级上近似保持尺度不变性。未移位的幂族也恢复了标准损失作为特例，包括平方误差和 Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 使用的 Itakura–Saito 损失（附录B.8 (https://arxiv.org/html/2607.18454#A2.SS8)）。因此，SPB 损失是现有评估损失的严格泛化，具有显式的有限性修正和一个可调的不对称旋钮。与标准损失的比较见表1 (https://arxiv.org/html/2607.18454#S1.T1)。

经验上，估计器的排名取决于评估成本模型。在近似对称惩罚下（包括对数空间平方误差和相应的 SPB 设置），GA-AMLS 具有更低的偏差并优于基线。在严重惩罚低估的强不对称惩罚下（包括 Itakura–Saito 损失和相应的 SPB 设置），QLD 可以优于 GA-AMLS，因为其正偏差作为针对假阴性的保守对冲。这种排名反转在现有指标以及 SPB 下都是可见的；SPB 使权衡明确，同时避免了零估计引起的数值不稳定性。因此，适当的估计器取决于部署上下文：保守的灾难性风险审计可能偏好高估，而对过多误报敏感的应用可能偏好低偏差的 GA-AMLS 诊断。

图 2：GA-AMLS 在激活空间中的示意图。
罕见事件概率被分解为自适应分数水平上条件概率的乘积。在每个水平上，低于阈值的激活被丢弃，幸存者被重新采样。MALA 更新使用拟合的激活先验梯度来改善在约束水平内的混合。

表 1：SPB 损失是唯一满足 LPE 评估所有四个期望性质的损失：尺度不变性、在零估计处有限、通过 α 在低估和高估惩罚之间可调的不对称性，以及严格适当性。

## 2 背景与问题设置

### 2.1 问题设置

**低概率估计。**我们采用 Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 的低概率估计（LPE）设置。令 M 是一个语言模型，词汇表为 V，令 x ∼ D 是从指定输入分布中抽取的输入序列。我们考虑确定性 argmax 解码：M(x) 是具有最大输出 logit 的标记。对于目标标记 t ∈ V，关注的罕见事件概率是
q_t = Pr_{x∼D}[M(x) = t].
在我们的实验中，q_t 处于极端尾部区域 10^{-9} ≤ q_t ≤ 10^{-5}，朴素蒙特卡洛采样不可行。

**激活空间公式。**GA-AMLS 在内部激活而非离散文本上操作。令 f: V^* → R^d 将输入序列映射到其最终层预 LayerNorm、预反嵌入激活 a = f(x)。给定反嵌入矩阵 W_U，logits 是 z(a) = LayerNorm(a) W_U。因此，事件 M(x) = t 可以写作激活空间约束：
q_t = Pr_{x∼D}[ z_t(f(x)) > max_{i≠t} z_i(f(x)) ].

**现有估计器。**我们与 Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 引入的方法进行比较。输入空间重要性采样方法（如 ITGIS 和 MHIS）搜索离散标记序列并对样本重新加权以估计 q_t。这些估计器原则上可以是无偏的，但在极端尾部区域经验上它们通常无法找到触发输入，产生零估计。QLD 通过在激活空间操作避免了这种失败模式。它对预反嵌入激活进行白化，将每个激活分解为 u = a + b 为一个目标方向分量和一个正交残差，并通过重组分量 a^{(i)} + b^{(j)} 来估计 q_t。这将 n 个激活转化为 n^2 个候选激活，但依赖于将白化后的分量视为独立。由于白化保证不相关性而非独立性（除非在联合高斯性等更强假设下），非高斯激活结构可能引入偏差。

### 2.2 采样方法

**自适应多层分割（AMLS）算法。**自适应多层分割（AMLS）是一种罕见事件蒙特卡洛方法，通过将一个小概率分解为一系列更大的条件概率的乘积来估计它（Guyaderet al.,2011 (https://arxiv.org/html/2607.18454#bib.bib33); Cérouet al.,2019 (https://arxiv.org/html/2607.18454#bib.bib125); Webbet al.,2019 (https://arxiv.org/html/2607.18454#bib.bib122)）。令 V ∼ G 是一个随机变量，令 s: R^d → R 是一个得分函数，并令罕见事件为 { s(V) ≥ τ }。对于水平 -∞ = L_0 < L_1 < … < L_k = τ，尾部概率可以写为
P(V ≥ τ) = ∏_{i=1}^{k} P( V ≥ L_i | V ≥ L_{i-1} ).
AMLS 通过一个粒子集合迭代地估计这些条件概率。在每次迭代 i 中，满足 s(V) ≤ L_{i-1} 的粒子被丢弃；幸存者被复制并扰动，以重新填充集合到其原始大小。水平 L_i 被选择为得分经验分布的函数——通常是幸存粒子的第 ρ 分位数，其中 ρ ∈ (0,1) ——并且估计更新为
\hat{p}_i = ρ^{i-1} / N ∑_{j=1}^{N} 1{ s(V_j^{(i)}) ≥ L_i }.
虽然这个估计量在理想条件下是渐近无偏的（Cérouet al.,2019 (https://arxiv.org/html/2607.18454#bib.bib125)），但在有限样本中，重采样过程——特别是扰动核——引入了实质性偏差。当幸存者的数量变得非常小（例如，1-2 个粒子）时，多样性不足以覆盖目标分布，并且估计漂移。我们将在表3 (https://arxiv.org/html/2607.18454#S4.T3) 中看到，即使在中等难度下，AMLS 也会退化，这强调了在重采样步骤中使用良好校准的扰动核的重要性。

**Metropolis 调整 Langevin 算法（MALA）。**MALA 是一种基于梯度的 MCMC 方法（Roberts and Tweedie,1996 (https://arxiv.org/html/2607.18454#bib.bib36)）。从当前状态 x 开始，建议分布由下式给出
y = x + η ∇ log π(x) + √(2η) ε,
其中 ε ∼ N(0, I)，η 是步长，而 π(·) 是目标分布。建议 y 以概率 α = min(1, [π(y) q(x|y)] / [π(x) q(y|x)]) 被接受。梯度项引导采样器向高概率区域移动，使其对于探索连续空间高效。

**带有 MALA 核的 AMLS。**在标准 AMLS 中，扰动核通常是固定的，例如，各向同性高斯。然而，语言模型激活通常位于低维流形上，并且彼此高度相关。固定核在生成多样化幸存者方面可能效率低下，特别是在激活先验后的低概率区域。GA-AMLS 使用 MALA 作为其扰动核，利用激活先验的梯度——我们将在下一节中描述——在新的方向上演化粒子。这改善了混合，并允许估计器在连续激活空间中更好地探索。图2 (https://arxiv.org/html/2607.18454#S1.F2) 说明了 GA-AMLS 的流程。

### 2.3 预先存在的指标及其局限性

Wu and Hilton (2025 (https://arxiv.org/html/2607.18454#bib.bib37)) 使用两个评估指标：Itakura-Saito (IS) 损失（Itakura and Saito,1968 (https://arxiv.org/html/2607.18454#bib.bib94)）和对数空间平方误差（logMSE）。两者在零估计 p=0 处都变得无限。为了比较不同的方法，作者通过应用对数尺度上的线性映射来校准估计值，该映射使用已知的真实概率——即。在测试样本上学习仿射变换 log p̂' = a log p̂ + b。由于仿射校准的参数是全局学习的（即，跨目标标记共享），并且由于拟线性的对数尺度映射，校准后的估计值被限制在目标标记数量较少时的粗网格上，这可能导致最终估计值的失真。此外，学习校准所需的真实概率仅在已知的合成设置中可用，因此该方法并不通用。此外，IS 损失本质上不对称（参见附录A (https://arxiv.org/html/2607.18454#A1)），但不对称的程度是固定的且不可调，这阻止了从业者根据其应用的成本模型定制评估。

相比之下，SPB 损失家族提供了完全可调的不对称性（通过 α）、对零估计的有限性（通过 ε）以及至少近似的尺度不变性——所有这些都是通过加权和公式实现的，无需任何外部校准过程。

**SPB 损失公式。**我们首先定义一个点态散度，然后通过加权求和将其聚合。符号与正文一致：q 是真概率，p 是估计概率。

**定义 1（移位幂散度）。**对于 α > 0, ε > 0，预测 p 相对于真概率 q 的移位幂散度 B_ε(q ∣ p) 定义为
B_ε(q ∣ p) = ∫_{t 在 p 和 q 之间} (t + ε)^{-α} dt,
其中积分是沿着概率轴从 p 到 q 的路径，选择使积分有符号。对于 p ≥ q，路径从 q 到 p；对于 p < q，路径从 p 到 q（因此散度总是非负的，仅在 p=q 时为零）。移位 ε > 0 确保在 p=0 时惩罚保持有限。几何上，该积分在真实 q 和预测 p 之间沿一维概率轴累积成本。在中间概率水平 t，局部贡献是到真实值的距离，由权重 ω_ε(t) = (t + ε)^{-α} 缩放。由于此权重在接近零时最大，因此将预测推向较小概率的误差受到更强的惩罚。对于高估 p = mq，损失在 t ∈ [q, mq] 上积分，其中权重随 t 增加而减小。对于倒数低估 p = q/m，损失在 t ∈ [q/m, q] 上积分，其中包括 ω_ε(t) 较大的较小概率。增加 α 会加剧接近零时的增长，因此相对于高估增加了低估的相对惩罚。因此，α 提供了一个可调的不对称参数，如定理2 (https://arxiv.org/html/2607.18454#Thmtheorem2) 所述。

**数据集级 SPB 损失和稀有性溢价 γ。**为了在多样的一组罕见事件上评估估计器，我们将逐点散度聚合为一个数据集级损失。如附录A (https://arxiv.org/html/2607.18454#A1) 所推导，对于固定相对误差 m = p/q，*未移位*逐点散度 (ε=0) 正好与 q^{2-α} 成比例。虽然移位参数 ε > 0 略微扰动了几何，但移位散度 B_ε(q ∣ p) 仍然以这个主导阶 q^{2-α} 缩放为主。如果不加修正，聚合损失将受真概率绝对尺度的支配，而不是估计器的相对准确性。为了中和这一点并建立受控的尺度不变性，我们将数据集级 SPB 损失定义为跨 n 个样本的*加权*逐点散度的算术平均值¹：
L_SPB = (1/n) ∑_{i=1}^n w(q_i) B_ε(q_i ∣ p_i).

¹ 关键的是，我们除以样本数量 n 而不是权重之和 ∑_i w(q_i)。由于权重 w(q) 被特意设计为逐点抵消 q^{2-α} 尺度因子，应用归一化的加权平均会重新引入对真概率经验分布的依赖，从而抵消抵消。