黑盒大语言模型的改进置信度估计

# 面向黑箱大语言模型的改进置信度估计方法
来源：https://arxiv.org/html/2608.19323  
Mouloud [email protected]所属机构：TD保险  
Gabriel Loaiza\[email protected]所属机构：Layer 6 AI

###### 摘要

不确定性量化（UQ）对于大语言模型（LLMs）的安全部署至关重要。现有方法——从语言化置信度到需要多次生成的方法——通常无需标注数据即可生成量化不确定性的分数。然而在实践中，部署前必须在目标数据集上评估其性能。本研究表明，通过利用该数据集，我们能持续超越现有评分方法。具体而言，我们构建简单的分类器，利用这些分数和相似查询的正确性作为特征来预测LLM响应正确性。该方法计算开销极小，为现实应用中LLM的不确定性量化提供了一种低成本、易实施的增强方案。

## 第1部分引言

大语言模型（LLMs）的快速发展已使其渗透到众多领域，从创意写作（Gómez\-Rodríguez & Williams 2023 (https://arxiv.org/html/2608.19323#bib.bib13)）到自动化代码生成（Wang et al\. 2021 (https://arxiv.org/html/2608.19323#bib.bib48)；Chen et al\. 2021 (https://arxiv.org/html/2608.19323#bib.bib8)）等等（Chaturvedi & Verma 2023 (https://arxiv.org/html/2608.19323#bib.bib6)）。但其易产生幻觉现象（Maynez et al\. 2020 (https://arxiv.org/html/2608.19323#bib.bib30)；Xu et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib51)）仍是医疗（Begoli et al\. 2019 (https://arxiv.org/html/2608.19323#bib.bib3)）和科学研究（Wang et al\. 2023a (https://arxiv.org/html/2608.19323#bib.bib46)）等高风险场景应用的主要障碍。不确定性量化（UQ）旨在通过评估模型输出来解决这一挑战，以确定特定生成内容的可信程度。建立稳健的UQ框架对于释放LLMs在关键应用中的全部潜力至关重要。

LLMs的UQ领域仍存在大量开放问题（Shorinwa et al\. 2025 (https://arxiv.org/html/2608.19323#bib.bib40)），且尚未就量化对象形成共识。例如，监督学习中的传统划分——将不确定性分为偶然不确定性与认知不确定性（Hüllermeier & Waegeman 2021 (https://arxiv.org/html/2608.19323#bib.bib19)）——已被批评不适用于LLMs的独特复杂性（Kirchhof et al\. 2025 (https://arxiv.org/html/2608.19323#bib.bib22)）。实践中存在两种主流方法：第一种称为*启发式评分*，生成仅与响应正确性相关的抽象不确定性分数，主要用作拒绝响应工具——当分数低于预设阈值时模型将不作答；第二种是*置信度估计*，尝试直接估算响应正确的概率。

我们认为置信度应作为LLMs UQ的核心指标：它既包含启发式评分的拒绝响应功能，又更有利于下游决策。例如，经过校准的正确性概率可整合进决策理论框架（Russell & Norvig 2010 (https://arxiv.org/html/2608.19323#bib.bib39)；Berger 2013 (https://arxiv.org/html/2608.19323#bib.bib4)），使系统通过最大化预期效用实现最优行为。

为提供优于现有方法的置信度估计，我们首先观察到现有UQ方法主要以零样本方式运行，无需训练数据集即可生成不确定性分数。然而实践中，模型部署前几乎总会通过代表性标注数据集进行评估。我们的工作基于这一洞察：该数据是重要但未被充分利用的资源；通过突破零样本范式，我们可利用这些数据来提升LLM不确定性估计的可靠性。

具体而言，我们将该数据集划分为训练集和*参考集*。为增强给定不确定性分数，我们在训练数据中为每个查询添加这些分数作为特征。接着利用参考集构建额外特征：对训练集中每个查询，识别其在参考集中的k近邻，并提取基于邻域的统计量，如邻居的正确性及其在嵌入空间中与查询的余弦相似度。随后我们将置信度估计转化为有监督二分类任务，利用增强后的训练集预测响应正确性。此流程如图1所示（https://arxiv.org/html/2608.19323#S1.F1）。

查询qq响应\(s\)r\\mathbf\{r\}不确定性分数s\\mathbf\{s\}特征x\\mathbf\{x\}分类器fθf\_\{\\theta\}响应正确性yy参考数据集\(q1,r1,y1\)\(q\_\{1\},\\mathbf\{r\}\_\{1\},y\_\{1\}\)\(q2,r2,y2\)\(q\_\{2\},\\mathbf\{r\}\_\{2\},y\_\{2\}\)...\\dots图1：多数UQ方法使用给定查询qq和一个或多个LLM生成的响应r\\mathbf\{r\}获取不确定性分数s\\mathbf\{s\}，其目标是与响应正确性标签y相关。我们的框架则从现有数据集中检索相似查询，结合s\\mathbf\{s\}生成特征x\\mathbf\{x\}；随后训练分类器从x\\mathbf\{x\}预测y。

本框架具有多重优势：首先计算开销极小——分类器训练高效（因其复杂度低），且推理边际成本相对于LLM响应生成成本可忽略不计；其次该方法仅需数据集，如前所述，即使是零样本方法在实际场景中也常需此类数据；最后该方法具有内在灵活性：既可将多个不确定性分数聚合为单一分数，也能将启发式分数转化为置信度估计。

实验表明，我们的分类器在不同数据集和模型上持续超越现有UQ方法，并提供校准后的置信度估计。结果还显示，尽管数据驱动方法持续改进基线不确定性分数，但最优分类器模型因任务而异。这种变异性印证了核心论点：标注数据确实是UQ的重要未开发资源，但要有效利用它，必须选择任务特定学习器以适应不同数据分布。

## 第2部分相关工作与动机

#### 启发式评分

部分启发式评分基于模型logits（Duan et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib10)），但多数依赖采样\-聚合框架：对单个查询生成多个LLM响应，通过汇总输出变异性得到标量不确定性分数。这些方法主要差异在于响应生成机制和具体汇总技术。Wang et al\. 2023b（https://arxiv.org/html/2608.19323#bib.bib47）使用低秩自适应（Hu et al\. 2022 (https://arxiv.org/html/2608.19323#bib.bib18)，LoRA；）微调LLM集成以生成多样化响应，而Yang et al\. 2024a（https://arxiv.org/html/2608.19323#bib.bib52）则对LoRA模块采用拉普拉斯近似（Ritter et al\. 2018 (https://arxiv.org/html/2608.19323#bib.bib37)）。Hou et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib17）通过修改查询添加不同澄清语来生成响应，Gao et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib11）则使用不同扰动。Ross et al\. 2025（https://arxiv.org/html/2608.19323#bib.bib38）将系统提示视为贝叶斯参数，响应对应后验样本。其他方法独立生成响应：Kuhn et al\. 2023（https://arxiv.org/html/2608.19323#bib.bib24）将其聚类为语义组，使用簇分布的熵作为不确定性分数；Lin et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib28）则生成包含生成响应成对相似性的矩阵，基于相关矩阵的特征谱和迹线产生多种不确定性分数；Nikitin et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib33）采用相应的冯·诺依曼熵；Grewal et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib14）通过平均生成响应间所有成对余弦相似度计算分数；Qiu & Miikkulainen 2024（https://arxiv.org/html/2608.19323#bib.bib35）则使用响应嵌入空间的核密度估计器所得密度。

#### 置信度估计

语言化置信度分数（通常记为PtrueP\_\{\\mathrm\{true\}\}）通过直接提示LLM评估自身响应正确的概率获得（Kadavath et al\. 2022 (https://arxiv.org/html/2608.19323#bib.bib20)；Yang et al\. 2024b (https://arxiv.org/html/2608.19323#bib.bib53)）。但这些自报概率易过度自信（Zhou et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib54)）。虽有Kapoor et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib21）提出微调策略校准这些输出，但该过程计算昂贵且需要白盒访问LLM。其他研究探索使用分类器预测响应正确性，但与我们方法存在显著差异。例如Mielke et al\. 2022（https://arxiv.org/html/2608.19323#bib.bib31）使用LLM内部表示作为特征训练分类器，需要白盒访问。最接近我们工作的是APRICOT（Ulmer et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib43)），其同样训练分类器预测响应正确性。Ulmer et al\. 2024（https://arxiv.org/html/2608.19323#bib.bib43）使用辅助模型嵌入查询和响应，并将所得嵌入作为特征。其框架在特征构建方式上与我们不同：既未利用参考集，也未整合现有不确定性分数。因此与我们提出的方法不同，它无法作为通用工具将启发式分数转化为置信度估计。

#### 保形方法

保形预测（Papadopoulos et al\. 2002 (https://arxiv.org/html/2608.19323#bib.bib34)；Vovk et al\. 2005 (https://arxiv.org/html/2608.19323#bib.bib45)；Angelopoulos & Bates 2021 (https://arxiv.org/html/2608.19323#bib.bib1)；Angelopoulos et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib2)）是监督学习中常用的UQ方法，其目标是输出标签集合，保证以用户指定概率包含真实标签，集合大小量化不确定性。近期工作（Quach et al\. 2024 (https://arxiv.org/html/2608.19323#bib.bib36)；Kladny et al\. 2025 (https://arxiv.org/html/2608.19323#bib.bib23)；Loaiza\-Ganem et al\. 2026 (https://arxiv.org/html/2608.19323#bib.bib29)）将这些思想应用于LLMs以生成响应集合。这些UQ方法需要启发式UQ分数或置信度估计来获得集合，因此与我们工作正交且兼容。

#### 动机

遵循不确定性评分应基于决策效用的原则（Smith et al\. 2025 (https://arxiv.org/html/2608.19323#bib.bib41)），我们观察到当前启发式分数虽捕捉不同类型不确定性，但都以与响应正确性相关来指导拒绝响应等行动为共同目标。这启发我们设计能整合多种启发式分数为单一不确定性指标的框架。我们认为直接预测正确性概率是实现此目标最有效的方式；与启发式分数不同，经校准的目标结果概率（此处指正确性）为最优决策提供原则性依据。因此首要目标是开发能从一个或多个现有不确定性分数生成单一置信度估计的方法，该方法还具有比启发式分数更易解释的额外优势。

我们为置信度估计设定两个要求：首先框架不应引入超出其组成分数的要求。例如若现有分数仅需黑盒访问或单次模型响应，我们的方法应保持这些限制，而非要求白盒访问或多次生成。我们将聚焦于黑盒设置，因为当前最先进LLMs均为黑盒，尽管该方法也适用于白盒模型。虽然许多现有不确定性分数为零样本且无需标注数据，但我们已论证此类数据在现实场景中普遍存在。因此第二个目标是利用现有数据，从现有分数生成最佳置信度估计。

## 第3部分背景：校准

考虑目标二元变量YY和某些特征XX。若对每个可行的p∈\[0,1\]p\\in\[0,1\]，分类器ff满足  
P⁡\(Y=1\|f⁡\(X\)=p\)=p\.\\mathbb\{P\}\(Y=1\|f\(X\)=p\)=p\.\(1)  
则称其是校准的。换言之，校准意味着分类器输出可作为可靠概率估计。注意校准不同于准确性：例如分类器可能准确但未校准，而校准的分类器不一定准确，如常数分类器f⁡\(x\)=P⁡\(Y=1\)f\(x\)=\\mathbb\{P\}\(Y=1\)完全校准。因此理想分类器应兼具准确性与校准性。

实践中通过预期校准误差（ECE）评估二分类器校准性。给定数据集\(xi,yi\)i=1n\{\(x\_\{i\},y\_\{i\}\)\}\_\{i=1\}^\{n\}，将\[0,1\]\[0,1\]区间划分为LL个等长子区间IlI\_\{\\ell\}，进而得到数据桶Bl≔{\(xi,yi\):f⁡\(xi\)∈Il\}B\_\{\\ell\}\\coloneqq\\\{\(x\_\{i\},y\_\{i\}\):f\(x\_\{i\}\)\\in I\_\{\\ell\}\\\}\。则  
ECE⁡\(f\)≔∑l|Bl|n|acc\(f,Bl\)−conf\(f,Bl\)|,\\mathrm\{ECE\}\(f\)\\coloneqq\\sum\_\{\\ell\\}\\frac\{\|B\_\{\\ell\}\|\}\{n\\}\\left\|\\text\{acc\}\(f,B\_\{\\ell\}\)\-\\text\{conf\}\(f,B\_\{\\ell\}\)\\right\|,\(2)  
求和遍历所有非空桶，acc\(f,Bl\)\\text\{acc\}\(f,B\_\{\\ell\}\)是ff在桶BlB\_\{\\ell\}上的准确度，conf\(f,Bl\)\\text\{conf\}\(f,B\_\{\\ell\}\)是该桶上的置信度（即其平均值）。

多数二分类器产生logith⁡\(x\)h\(x\)，故ff表示为f⁡\(x\)=σ⁡\(h⁡\(x\)\)f\(x\)=\\sigma(h\(x\)\)，其中σ\\sigmod为sigmoid函数。温度缩放是深度学习中的常用策略（Guo et al\. 2017 (https://arxiv.org/html/2608.19323#bib.bib15)），通过修改预训练分类器输出为σ⁡\(h⁡\(x\)/τ\)\\sigma(h