大型语言模型中的未来置信度蒸馏

# 大型语言模型中的未来置信度蒸馏

来源：https://arxiv.org/html/2607.07626

###### 摘要

可靠的置信度估计对于在置信度感知系统中部署大型语言模型（LLMs）至关重要，这些系统中诸如检索、工具使用和自适应计算等下游决策依赖于准确估计答案的可靠性。然而，现有方法大多将置信度视为已完成响应的属性，忽略了置信度相关信息在整个回答过程中的演变。在这项工作中，我们从时间角度研究置信度，通过比较前沿和开源LLM中的解决前"知晓感"（FOK）和解决后"学习判断"（JOL）置信度估计。我们表明，解决后的置信度始终比解决前的置信度具有更好的校准性和区分性，而基于隐藏表示训练的线性探针能够恢复比模型明确表达的更丰富的置信度相关信息。基于这一观察，我们引入了**未来置信度蒸馏**，它利用由解决后正确性探针产生的教师置信度估计，训练在解决前隐藏表示上操作的预测器。尽管推理时仅需解决前表示，但蒸馏后的预测器恢复了解决后置信度的大部分校准改进，保持高度样本效率，并能在同一领域内的数据集间迁移。总的来说，我们的发现表明，置信度相关信息在整个回答过程中演变，并可在答案生成完成之前被预测，从而实现了更可靠且低成本的置信度估计。

## 1 引言

大型语言模型（LLMs）越来越多地部署于高风险场景，包括问答、推理系统、检索增强生成（RAG）、自主智能体和决策支持流水线（Li et al. 2024 (https://arxiv.org/html/2607.07626#bib.bib19)；Cheng et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib5)）。在此类系统中，模型或下游组件通常依赖内部置信度估计来决定是否应触发额外检索、调用外部工具、分配更多计算资源，或完全推迟响应（Li et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib20)）。这种能力通常被称为**自我认知**（Kale and Nadadur 2025 (https://arxiv.org/html/2607.07626#bib.bib15)）或**元认知**（Ma et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib23)）。因此，模型自我认知的质量已成为可靠、有效且成本效益高的置信感知决策策略的关键因素（Kale and Dhami 2025 (https://arxiv.org/html/2607.07626#bib.bib14)）。

越来越多的研究工作通过LLM中的置信度估计和校准来研究自我认知，通常采用口头化置信度分数、token概率或事后校准技术（Kale 2025 (https://arxiv.org/html/2607.07626#bib.bib13)）。尽管最近取得进展，置信度信号与实际正确性的对齐仍不完美，限制了其在下游决策中的有用性（Ren et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib30)；Kale and Dhami 2025 (https://arxiv.org/html/2607.07626#bib.bib14)）。更重要的是，无论采用何种估计方法，置信度几乎总是被视为已完成答案的属性。我们反而研究隐藏表示中编码的置信度相关信息是否在整个回答过程中演变，并可在答案生成完成之前被预测。

参见图注

图1：跨回答阶段的时间置信度测量概览

在这项工作中，我们从时间角度研究置信度。受经典元记忆理论启发（Nelson 1990 (https://arxiv.org/html/2607.07626#bib.bib27)；Koriat 1997 (https://arxiv.org/html/2607.07626#bib.bib17)），我们区分了自我评估的两个阶段：解决前的**知晓感**（FOK）信号和解决后的置信度信号（类似于**学习判断**JOL）。前者反映模型在开始回答前对未来成功的估计，而后者反映在产生解决方案后的置信度。这一框架使我们能够分析置信度估计和隐藏表示中编码的置信度相关信息如何在回答过程中变化。我们首先描述跨模型和领域FOK与JOL信号的质量，然后研究是否可以将解决后隐藏表示中存在的信息蒸馏到在解决前隐藏表示上操作的预测器中。这样一个改进的预测器将使模型能够在仅依赖于廉价的解决前输入时近似完成回答过程的可靠性，从而在操作上更便捷且部署成本更低。

我们假设解决后的隐藏表示编码了仅靠解决前置信度估计无法完全恢复的置信度相关信息。如果是这样，解决后探针的置信度估计可以作为监督信号，用于学习在解决前隐藏表示上完全操作的改进置信度预测器。具体来说，我们研究从解决后隐藏表示蒸馏出的未来置信度预测器是否能改进解决前的置信度估计、降低校准误差，并在常见领域泛化。在涵盖事实回忆、逻辑推理和数学推理的前沿和开源LLM中，我们比较了口头置信度估计与基于表示的置信度估计。我们表明，解决后的置信度估计始终比解决前的估计校准得更好；隐藏表示编码了比模型口头表达更丰富的置信度相关信息；而未来置信度蒸馏在完全在答案生成之前操作的同时，恢复了这个改进的大部分。我们的主要贡献如下：

- • 我们通过区分解决前的知晓感（FOK）和解决后的学习判断（JOL）置信度信号，引入了LLM中置信度估计的时间视角，并提供了跨前沿和开源模型的校准性、区分性和计算权衡的大规模分析。
- • 我们引入了未来置信度蒸馏，利用来自解决后正确性探针的教师置信度估计，训练在解决前隐藏表示上操作的预测器，从而在不需完整回答生成的情况下获得显著改进的置信度估计。
- • 我们证明，蒸馏后的未来置信度预测器具有样本效率，并能跨领域内的未见数据集迁移，表明在回答后学到的置信度相关信息可以泛化到单个基准之外。

## 2 相关工作

### 2.1 LLM中的自我认知与置信度估计

近期研究越来越多地探讨大型语言模型是否表现出某种形式的自我认知或元认知行为，即它们估计自身输出可靠性并识别不确定性或知识局限的能力（Kale 2025 (https://arxiv.org/html/2607.07626#bib.bib13)；Podolak and Verma 2025 (https://arxiv.org/html/2607.07626#bib.bib29)；Li et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib20)）。现有研究表明，LLM通常能够预测自己是否可能正确回答问题，特别是在被提示提供口头化置信度估计时（Kale and Dhami 2025 (https://arxiv.org/html/2607.07626#bib.bib14)）。然而，这些估计往往校准不佳，尤其是在推理密集型任务和分布偏移下（Lin et al. 2022 (https://arxiv.org/html/2607.07626#bib.bib21)；Ren et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib30)）。对于检索增强、自适应计算、工具使用、模型路由和选择性生成等下游应用，可靠的置信度估计越来越重要（Wang et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib32)；Zhang et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib35)）。

### 2.2 基于隐藏表示的置信度估计

置信度估计方法大致分为两类。黑盒方法从行为信号推断置信度，如口头化置信度估计、自我评估提示、答案一致性和选择性弃权（Xu et al. 2024 (https://arxiv.org/html/2607.07626#bib.bib33)；Kale and Dhami 2025 (https://arxiv.org/html/2607.07626#bib.bib14)）。相比之下，白盒方法利用内部模型信号，包括token概率、熵、校准统计和隐藏表示（Kadavath et al. 2022 (https://arxiv.org/html/2607.07626#bib.bib12)；Malinin and Gales 2021 (https://arxiv.org/html/2607.07626#bib.bib24)；Kissling, Merdjanovska, and Akbik 2026 (https://arxiv.org/html/2607.07626#bib.bib16)）。最近研究表明，基于隐藏表示训练的线性探针通常能恢复比模型明确表达更校准的置信度估计（Kissling, Merdjanovska, and Akbik 2026 (https://arxiv.org/html/2607.07626#bib.bib16)），我们将在工作中扩展这一主题。

### 2.3 时间置信度与未来置信度蒸馏

大多数先前工作在答案生成后评估置信度，将置信度估计视为已完成响应的属性。最近的研究表明，生成前的隐藏表示已经编码了关于最终答案正确性的信息，线性探针能在答案产生前预测未来成功（Cencerrado et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib4)；Lugoloobi et al. 2026 (https://arxiv.org/html/2607.07626#bib.bib22)）。相关工作进一步表明，正确性相关信息在回答的中间阶段保持线性可解码，表明结果相关信息在最终预测之前就已出现（David 2025 (https://arxiv.org/html/2607.07626#bib.bib7)；Zhu et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib36)）。虽然这些研究专注于从隐藏表示预测正确性，但未探讨置信度相关信息如何在整个回答过程中演变或如何增强这种估计。我们的工作通过分析时间置信度表示并引入未来置信度蒸馏来填补这一空白，该蒸馏将置信度相关信息从解决后隐藏表示转移到解决前隐藏表示。

参见图注(a) 参见图注(b)

图2：学习隐藏在表示中的未来置信度相关信息。(a) 隐藏状态置信度探测。(b) 从解决后到解决前表示的蒸馏。

## 3 方法论

### 3.1 时间置信度信号

给定输入问题 \(x\)，我们研究回答过程中两个阶段的置信度相关信号，如图1所示。

- • 在答案生成之前，模型被要求预测其最终成功的概率，产生一个解决前知晓感（FOK）估计 \(c_{\text{pre}} \in [0,1]\)。
- • 然后模型生成答案 \(\hat{y} = f(x)\)，并与参考方案比较以获得正确性标签（基于领域）\(z \in [0,1]\) 或 \(z \in \{0,1\}\)。
- • 最后，模型被提示估计其生成的答案正确的概率，产生一个解决后学习判断（JOL）估计 \(c_{\text{post}} \in [0,1]\)。

因此，每个样本产生 \((x, \hat{y}, z, c_{\text{pre}}, c_{\text{post}})\)，构成我们校准性、表示和蒸馏分析的基础。方法中使用的符号总结见附录中的A节。

### 3.2 基于表示的置信度估计

我们使用口头化估计和基于隐藏表示训练的线性探针来分析置信度相关信号。提示产生口头化置信度估计（FOK和JOL），提供黑盒置信度信号。提示模板见附录中的B.6节。

基于先前发现，即基于隐藏表示训练的线性探针通常能从隐藏表示恢复更校准的置信度估计（Kissling, Merdjanovska, and Akbik 2026 (https://arxiv.org/html/2607.07626#bib.bib16)），我们分别从处理解决前和解决后置信度提示的层 \(\ell\) 中提取最终token的隐藏表示 \(\mathbf{h}_{\text{pre}}^{(\ell)}, \mathbf{h}_{\text{post}}^{(\ell)} \in \mathbb{R}^d\)，如图2(a)所示。对于每一层，我们训练一个独立的线性探针 \(p(z=1 \mid \mathbf{h}^{(\ell)}) = \sigma(\mathbf{w}^\top \mathbf{h}^{(\ell)} + b)\)，其中 \(z\) 表示答案正确性，\(\sigma(\cdot)\) 是逻辑Sigmoid函数。探针在不相交的训练-测试集上训练，并使用校准性和区分性指标评估。我们主要采用线性探针，因其经验性能强且可解释性好，基于先前的表示探针工作（Kissling, Merdjanovska, and Akbik 2026 (https://arxiv.org/html/2607.07626#bib.bib16)；Zhu et al. 2025 (https://arxiv.org/html/2607.07626#bib.bib36)）。我们还在附录的D节中评估了非线性探针架构，但始终保留线性探针，因为它们始终提供最强的经验性能，同时保持易于解释。

### 3.3 未来置信度蒸馏

虽然解决后的置信度估计始终表现出更好的校准性和区分性（后续分析），但获取它们需要生成完整的推理轨迹和答案。因此，我们研究是否可以训练在解决前隐藏表示上操作的预测器，以恢复解决后隐藏表示中编码的置信度相关信息，从而实现低成本但准确的置信度估计，如图2(b)所示。

对于每一层 \(\ell\)，我们首先训练一个解决后探针 \(t_i = T^{(\ell)}\!\left(\mathbf{h}_{\text{post},i}^{(\ell)}\right)\)，其中 \(T^{(\ell)}\) 是使用标签 \(z\) 训练的正确性探针。探针输出一个教师置信度估计，定义为预测的正确性概率。与二元正确性标签不同，这个连续目标捕捉了解决后隐藏表示中编码的置信度相关信息。

然后，我们训练一个蒸馏后的未来置信度预测器 \(\hat{c}_i = D^{(\ell)}\!\left(\mathbf{h}_{\text{pre},i}^{(\ell)}\right)\)，它仅在解决前表示上操作，并向解决后置信度估计回归。具体来说，我们最小化 \(\mathcal{L}_{\text{distill}} = \sum_i \left(\hat{c}_i - t_i\right)^2\)。

实际上，T^{(ℓ)