基于推理的不确定性估计：LLM在多语言和跨语言MCQA性能中的大规模研究

# 从推理中估计不确定性：多语言与跨语言MCQA性能的大规模研究  
来源：https://arxiv.org/html/2607.06327  
Andrea Alfarano¹,† Andrea Bacciu²,† Saab Mansour² Amin Mantrach² Marcello Federico²  
¹INSAIT，索菲亚 ²亚马逊  
andrea\.alfarano@insait\.ai \{andbac, saabm, mantrach, marcfede\}@amazon\.com  

###### 摘要  
不确定性估计（UE）使LLM驱动系统能够识别何时应放弃回答，然而现有研究主要集中在英语上。我们首次对UE方法进行了大规模评估，涵盖22种语言，覆盖高资源、中资源和低资源场景。使用两个人工策划的问答数据集，我们比较了开箱和闭箱UE方法（共九种），涉及不同模型规模和架构，同时引发长格式推理，避免使用LLM-as-a-judge和基于嵌入的评分，这些可能引入评估噪声。我们报告了三个可操作的发现。首先，我们发现，在保留低资源语言问题的同时，提示模型用英语进行推理，显著改善了UE性能，这表明低资源语言的理解能力基本完好，可靠性瓶颈存在于生成而非理解。其次，提示模型用英语推理缩小了低资源与高资源语言之间的UE性能差距，表明生成语言比问题语言更重要。第三，UE方法的选择应取决于模型规模：在较小规模下，基于概率的开箱方法优于其他方法；在较大规模下，闭箱的自我表述不确定性变得更具优势。最后，我们提供了选择性预测的阈值选择分析，为多语言环境下的放弃回答校准提供了指导。  

从推理中估计不确定性：多语言与跨语言MCQA性能的大规模研究  

## 1 引言  
大语言模型（LLM）改变了人们获取和互动信息的方式，支持从日常规划到复杂问答的任务（Bommasani，2021（https://arxiv.org/html/2607.06327#bib.bib1））。近期研究主要聚焦于提升任务性能，例如通过思维链提示（Wei等，2022（https://arxiv.org/html/2607.06327#bib.bib11））和指令微调（Ouyang等，2022（https://arxiv.org/html/2607.06327#bib.bib10）），使模型能解决越来越复杂的问题。然而，高准确性并不足够：下游系统必须能识别LLM的答案是否基于其知识，从而能够放弃回答、转交人类或回退到更安全的行为。这激发了不确定性估计（UE）的相关研究，其目标是判断模型何时知道答案，使LLM驱动系统能识别并沟通其知识缺失（Kuhn等，2023（https://arxiv.org/html/2607.06327#bib.bib14））。  

现有的LLM不确定性研究主要聚焦英语，对于UE方法在其他语言中是否保持效力，尤其低资源设置下，证据有限（Kuhn等（2023（https://arxiv.org/html/2607.06327#bib.bib14））；Kossen等（2024（https://arxiv.org/html/2607.06327#bib.bib12））；Santilli等（2025（https://arxiv.org/html/2607.06327#bib.bib51））；Cecere等（2025（https://arxiv.org/html/2607.06327#bib.bib41））等）。据我们所知，唯一的多语言UE专项研究（Xue等，2025（https://arxiv.org/html/2607.06327#bib.bib47））仅评估了三种方法在五种语言上的表现，依赖机器翻译数据（未经人工后编辑），采用多项选择短答案格式而非开放生成。其数据集的中位答案长度仅为一个词，因此该设置主要评估语言对问题理解的影响，对较长的、语言更丰富的生成过程中的不确定性提供的证据有限。  

通过UE建立多语言可信赖性也存在方法论挑战，因为AUROC等标准指标依赖于真实标签。当通过LLM-as-a-judge、BERTScore或n-gram重叠近似真实标签时，这些代理会引入噪声，从而可能对不确定性方法进行错误排序（Santilli等，2025（https://arxiv.org/html/2607.06327#bib.bib51））。在多语言环境中，问题更为复杂：神经评判器在不同语言间行为可能不一致，从而在UE比较中引入语言相关偏差。因此，现有的以英语为中心的评估尚未提供决定性证据，证明UE方法能可靠地迁移到低资源语言和长格式生成。  

为应对这些挑战，我们在两个人工策划的问答数据集上评估了九种UE方法，覆盖22种语言，包括高资源、中资源和低资源设置，代表全球80%的母语人口。我们引发长格式、语言丰富的推理（平均150词），同时保留来自QA标签的客观正确性，从而避免LLM-as-a-judge和基于嵌入的代理。  

我们的结果揭示了三个关键模式：(1) UE方法性能在不同语系间差异显著，与资源可用性和语言距离的影响一致；(2) 生成语言对UE的影响大于问题语言，这一因素此前研究很大程度上忽略了；(3) 虽然闭箱的自我表述方法总体性能最优，但基于采样的闭箱方法在低资源语言上退化严重，而基于概率的开箱方法在所有语言资源级别上保持更一致的性能。  

我们做出以下贡献：(i) 提出一个基于标签的框架，用于在开放的多语言生成中评估UE，而无需基于模型的正确性指标；(ii) 对9个模型和22种语言进行了大规模UE研究；(iii) 为在多语言环境中部署不确定性感知系统提供实用指导。具体而言，我们探讨：(RQ1) 哪些UE方法在模型和语言间具有鲁棒性；(RQ2) 模型规模如何影响UE效果；(RQ3) 推理语言如何塑造UE质量；(RQ4) 跨语言答案设置下的UE鲁棒性；(RQ5) 选择性预测的阈值选择策略。  

## 2 相关工作与背景  
不确定性估计（UE）对于在高风险环境中部署大语言模型（LLM）至关重要，它能使系统标记不可靠的预测。现有文献通常根据模型访问程度进行分类：*开箱方法*，利用模型内部表示；以及*闭箱方法*，仅依赖文本输出。  

### 2.1 开箱方法  
开箱方法直接从模型内部（如隐藏状态或token概率）推导不确定性。推断方法方法无需额外训练，将token级对数概率聚合为序列级分数。标准指标包括长度归一化的对数概率、token概率的几何均值以及最小token概率（Fomicheva等，2020（https://arxiv.org/html/2607.06327#bib.bib64）；Vazhentsev等，2023（https://arxiv.org/html/2607.06327#bib.bib30））。由于计算效率高且无需监督，仅需推断的方法仍是对开源权重模型的标准方法。  

### 2.2 闭箱方法  
闭箱技术在无法访问对数概率或梯度时（例如商业API）至关重要。这些方法仅依赖于生成的文本。  

##### 自我表述不确定性  
该方法提示LLM明确陈述其置信度，作为分数或语言表达（Kadavath等，2022（https://arxiv.org/html/2607.06327#bib.bib31）；Tian等，2023c（https://arxiv.org/html/2607.06327#bib.bib34））。虽然可访问，但自我表述经常校准不良，且与基于对数概率的基线相比，在区分正确性方面往往效果不佳（Xiong等，2024（https://arxiv.org/html/2607.06327#bib.bib58）；Groot和Valdenegro-Toro，2024（https://arxiv.org/html/2607.06327#bib.bib53））。  

##### 一致性与采样策略  
基于一致性的方法依赖于直觉：正确的推理在随机样本间是稳定的。*语义熵*及其变体（Kuhn等，2023（https://arxiv.org/html/2607.06327#bib.bib14）；Farquhar等，2024（https://arxiv.org/html/2607.06327#bib.bib22）；Cecere等，2025（https://arxiv.org/html/2607.06327#bib.bib41））将多次生成按语义聚类，并计算聚类上的熵。其他工作使用图论扩展该方法，将生成建模为相似性图中的节点，从结构属性推导不确定性（Lin等，2023（https://arxiv.org/html/2607.06327#bib.bib55）；Vashurin等，2025（https://arxiv.org/html/2607.06327#bib.bib54））。  

### 2.3 评估与多语言挑战  
UE性能通常通过*区分*AUROC评估，但可靠的评估仍具挑战。  

##### 真实标签匹配  
Santilli等（2025（https://arxiv.org/html/2607.06327#bib.bib51））证明，ROUGE或BERTScore等自动真实标签匹配与表面特征（如长度）而非事实准确性高度相关，从而夸大报告UE性能。为解决这个问题，我们避免自动真实标签匹配，依赖多项选择答案与人工策划标签的精确匹配。先前的工作也使用了MCQA精确匹配来评估模型可靠性。例如，Madhusudhan等（2025（https://arxiv.org/html/2607.06327#bib.bib8））研究模型是否选择明确的“我不知道”选项作为二元放弃行为。我们的框架在三个方面不同：我们评估连续值不确定性信号（而非二元放弃），从长格式推理轨迹中提取（而非答案选择本身），并在22种语言上运行（而非仅英语）。  

##### 多语言不确定性估计  
虽然UE在英语中已被充分研究，多语言评估仍待探索。据我们所知，Xue等（2025（https://arxiv.org/html/2607.06327#bib.bib47））提出了唯一的多语言UE专项研究，引入*MlingConf*以在五种语言上评估三种不确定性方法。然而，其评估依赖机器翻译数据（未经人工后编辑）并采用短答案格式（中位响应长度仅一个词）。该设置主要评估语言如何影响问题理解，对扩展生成过程中的不确定性提供的见解有限。我们的基准通过引发目标语言的长格式推理，同时保留客观正确性标签，解决了这一空白。  

请参见图注  

图1：评估管线。与先前工作从预测标签估计不确定性（仅英语设置）不同，我们的框架 (1) 从模型的*推理轨迹*提取不确定性，(2) 在22种语言上评估。管线流程为：多语言提示 (A) → LLM生成 (B) → 与真实标签进行正确性评估 (C) → 对推理进行不确定性估计 (D) → 通过AUROC进行方法比较 (E)。  

## 3 方法论  
我们的目标是评估LLM UE方法在多种语言（包括低资源语言）上的表现，同时支持长文本生成并使用无模型指标以保持无偏设置。为此，我们利用人工策划的多项选择问答（MCQA）数据集，其中可能的标签集是固定选项（如A、B、C、D）。MCQA标签无需依赖字符串匹配、LLM-as-a-judge或嵌入相似性技术即可解释，从而在无近似或语言偏差的情况下提供真实标签。MCQA标签太短，无法从中推导不确定性估计；因此，我们将UE方法应用于LLM的推理文本，类似于Podolak和Verma（2025（https://arxiv.org/html/2607.06327#bib.bib69））的方法。具体而言，我们提示模型在给出答案前生成推理解释（例如思维链（Wei等，2022（https://arxiv.org/html/2607.06327#bib.bib11）））。然后我们将不确定性估计方法应用于该推理文本（平均150词），同时使用与MCQA标签的精确匹配来确定答案正确性。这使我们能够保留MCQA标签作为真实标签的可靠性，同时将UE评估扩展到长文本生成。  

我们故意选择MCQA而非开放问答数据集，原因有二：(i) 开放答案通常是非常短的事实片段（中位长度1-2词），因此它们无法为UE提供比MCQA标签更长的文本；(ii) 它们的评估不能确保语言和正确性无偏设置。详细理由见附录B（https://arxiv.org/html/2607.06327#A2）。  

最后，我们使用接收者操作特征曲线下面积（AUROC）评估每种UE方法的性能，这是UE文献中用于衡量不确定性分数与答案正确性相关程度的标准指标。完整流程如图1（https://arxiv.org/html/2607.06327#S2.F1）所示。  

数据集：我们使用两个人工策划的MCQA数据集，即Global-MMLU（Singh等，2025（https://arxiv.org/html/2607.06327#bib.bib63））（4个选项）和MMLU-ProX（Xuan等，2025（https://arxiv.org/html/2607.06327#bib.bib59））（10个选项）。我们聚焦于两个数据集共有的22种语言（完整语言列表见附录C（https://arxiv.org/html/2607.06327#A3））。这两个数据集是平行的，即每个问答对在所有语言中均可用，这使得我们的多语言评估能够跨语言比较。这两个数据集覆盖广泛的类别：Global-MMLU包含6个类别，MMLU-ProX包含14个类别（见附录E（https://arxiv.org/html/2607.06327#A5））。为确保平衡表示，我们从每个数据集的每个类别中采样100个问题，得到Global-MMLU的600个问题和MMLU-ProX的1400个问题，总计2000个独特问题。由于两个数据集均以全部22种语言提供，这产生了44,000个语言特定实例。我们进一步验证两个数据集中MCQA标签均匀分布，排除位置偏差（见附录J（https://arxiv.org/html/2607.06327#A10））。  

模型：我们的评估涵盖来自闭源和开源家族的九个模型。对于闭源模型，我们使用Claude 4.5 Sonnet（Anthropic，2025（https://arxiv.org/html/2607.06327#bib.bib2））——编写时最先进的模型。对于开源模型，我们考虑指令微调模型，包括五个Gemma3模型（0.27B、1B、4B、12B、27B）（Team等，2025（https://arxiv.org/html/2607.06327#bib.bib7））和三个Qwen3模型（4B、30B-A3B、235B-A22B）（Yang等，2025（https://arxiv.org/html/2607.06327#bib.bib6）），涵盖密集和专家混合（MoE）架构。我们在图2（https://arxiv.org/html/2607.06327#S3.F2）中报告了问答准确性的规模研究。在我们的实验中，由于硬件限制，仅对Qwen3 235B-A22B进行了4比特量化（见附录H（https://arxiv.org/html/2607.06327#A8）中我们的硬件基础设施）。在附录G（https://arxiv.org/html/2607.06327#A7）中，我们研究了量化是否影响多语言UE性能。我们选择了Qwen3-30B作为