一致但校准不佳：评估LLM在自然语言风险沟通中的局限性

# 一致但标定不准：评估LLM在自然语言风险沟通中的局限性 来源：https://arxiv.org/html/2607.03882 Diego Cerda\-Mardini  
麦吉尔大学牙科医学与口腔健康科学学院，蒙特利尔，QC，加拿大  
Chandar研究实验室，蒙特利尔综合理工学院，蒙特利尔，H3T 1J4，加拿大  
Mila – 魁北克人工智能研究所，蒙特利尔，H2S 3H1，加拿大  
Sarath Chandar  
Chandar研究实验室，蒙特利尔综合理工学院，蒙特利尔，H3T 1J4，加拿大  
Mila – 魁北克人工智能研究所，蒙特利尔，H2S 3H1，加拿大  
计算机工程与软件工程系（GIGL），蒙特利尔综合理工学院，蒙特利尔，H3T 1J4，加拿大  
加拿大CIFAR人工智能教席  
Sreenath Madathil  
麦吉尔大学牙科医学与口腔健康科学学院，蒙特利尔，QC，加拿大  
Mila – 魁北克人工智能研究所，蒙特利尔，H2S 3H1，加拿大  
###### 摘要  
LLM日益被部署为AI生成输出的事后解释器，但它们能否可靠地在自然语言中传达概率信息仍不清楚。要使这一角色可行，模型必须对相同的输入产生相同的词语描述，并且选择的描述能准确反映底层数值量的大小。我们评估了九个LLM是否满足这些要求，在一个两阶段预测流水线中，上游模型已生成以似然度和不确定性为特征的概率输出，而LLM的任务是为每个输出选择合适的词语描述符。我们通过从由众数和先验样本量参数化的Beta分布中采样来模拟上游模型的预测。然后，我们提示LLM在六种领域背景和十种温度设置下解释这些预测，并将每个实验重复十次。我们发现LLM通常一致但标定不准，在不确定性任务上的表现明显弱于似然度任务。为模型提供预先计算的汇总统计量（众数和先验样本量）降低了上下文框架的敏感性，但并未解决底层标定问题，这表明瓶颈在于词语化步骤本身。这些发现表明，当前的LLM尚不能构成可靠的零样本独立风险沟通工具，用于概率预测。  
![[无题图片]](https://arxiv.org/html/2607.03882v1/figures/git-logo.png) 代码仓库：https://github.com/CTruAI/risk_communication_llm (https://github.com/CTruAI/risk_communication_llm)  
## 1 引言  
大型语言模型（LLM）越来越多地被用于高风险领域，如医疗、金融和法律，在这些领域错误预测的代价可能非常严重(Maity and Jyoti,2025 (https://arxiv.org/html/2607.03882#bib.bib20); Dehghani et al.,2025 (https://arxiv.org/html/2607.03882#bib.bib4); Nie et al.,2024 (https://arxiv.org/html/2607.03882#bib.bib23))。在这些场景中，模型准确还不够；用户还需要知道模型对其预测有多自信(Band et al.,2024 (https://arxiv.org/html/2607.03882#bib.bib2))。校准后的不确定性评分可满足这一需求，通过指示何时应信任模型的预测(Minderer et al.,2021 (https://arxiv.org/html/2607.03882#bib.bib21); Madsen et al.,2024 (https://arxiv.org/html/2607.03882#bib.bib19))。然而，即使这些评分可用，正确解释它们对最终用户来说也是一个单独的挑战。像“统计不确定性”这样的概念经常被误解，即使是像医生这样的熟练专业人士也不例外(Gigerenzer et al.,2007 (https://arxiv.org/html/2607.03882#bib.bib9))。预测分布可以通过两个属性来表征：事件发生的似然度和预测的不确定性(Tyralis and Papacharalampous,2024 (https://arxiv.org/html/2607.03882#bib.bib28))。外行人对概率的直觉理解往往与其形式化的统计定义不同(Hashim,2024 (https://arxiv.org/html/2607.03882#bib.bib11))，加剧了对风险的理解错误。随着决策对AI的依赖日益增长，有必要向统计素养各异的受众传达似然度和不确定性等预测概念。LLM是实现这一目标的有前途的工具，因为它们可能能够将数值估计转化为自然语言解释（NLE），使非专家用户更易理解(Kayser et al.,2022 (https://arxiv.org/html/2607.03882#bib.bib15),2021 (https://arxiv.org/html/2607.03882#bib.bib14); Stern et al.,2024 (https://arxiv.org/html/2607.03882#bib.bib27))。这引发了两个问题：LLM是否对似然度和不确定性等概念拥有一致的内在映射，以及它们能否用一致且与底层概率信息校准的语言来表达这些概念。为了解决这些问题，我们评估了九个LLM从模拟预测分布生成NLE的能力，并通过一致性和标定指标来评估其风险沟通的适用性。  
## 2 定义  
**似然度**指事件发生的概率。在此上下文中，它被取为假设来自概率预测模型的分布的众数(Murphy,2022 (https://arxiv.org/html/2607.03882#bib.bib22))。  
**预测不确定性**指围绕预测的不确定性程度，通常来自不确定性感知模型中预测概率的方差(Kendall and Gal,2017 (https://arxiv.org/html/2607.03882#bib.bib16))。  
**自然语言解释（NLE）**是对数值输入的词语描述，用于可解释AI中使模型输出可理解。在此，NLE采用似然度和不确定性的词语描述符形式，例如“很可能”或“高度不确定”(Kayser et al.,2022 (https://arxiv.org/html/2607.03882#bib.bib15))。  
**标定**是模型选择的描述符准确反映已知数值量大小的程度。标定良好的模型对较高的值选择较强的描述符，对较低的值选择较弱的描述符。例如，对高概率预测偏好“很可能”而非“不太可能”。这一概念改编自“认知标定”，定义为模型内在确定性与语言表达肯定性之间的一致性(Ghafouri et al.,2025 (https://arxiv.org/html/2607.03882#bib.bib8))。  
**一致性**是模型在重复查询中对相同输入产生相同描述符的程度(Kolena,2024 (https://arxiv.org/html/2607.03882#bib.bib17))。  
**风险沟通**是以透明且可解释的方式呈现概率信息以支持知情决策的实践(Spiegelhalter et al.,2011 (https://arxiv.org/html/2607.03882#bib.bib26))。在本研究中，它被操作化为对预测分布的似然度和不确定性的准确词语描述，要求同时具备标定和一致性。  
## 3 相关工作  
### 3.1 风险沟通的挑战  
数值概率是精确的，但经常被低计算素养人群误解；而词语描述提供了更好的直觉获取途径，但人们对相同词汇的理解差异很大(Spiegelhalter et al.,2011 (https://arxiv.org/html/2607.03882#bib.bib26))。这种不匹配不仅限于外行人群：临床医生通常缺乏统计推理方面的正规培训，很难解释风险估计(Hashim,2024 (https://arxiv.org/html/2607.03882#bib.bib11); Gigerenzer et al.,2007 (https://arxiv.org/html/2607.03882#bib.bib9))。专家小组与公众在解释概率时存在显著的词汇差异(Jackson et al.,2025 (https://arxiv.org/html/2607.03882#bib.bib13))。在高风险领域，糟糕的风险沟通可能产生深远后果。例如，2015年国际癌症研究机构（IARC）将加工肉类列为1类致癌物时，这一公告引发了广泛的恐慌，主要是因为危害分类（某物能否致癌）与风险大小（它增加癌症概率的程度）之间的区别没有被明确说明(Bouvard et al.,2015 (https://arxiv.org/html/2607.03882#bib.bib3); Gallus and Bosetti,2016 (https://arxiv.org/html/2607.03882#bib.bib7))。这些事件表明，即使是机构专家也可能无法将概率概念转化为公众正确理解的语言。随着AI驱动的预测越来越普遍，有必要评估LLM在概率风险沟通方面的能力和局限性。  
### 3.2 定义概率语言的标定  
已经提出了几个相关概念来描述模型语言在多大程度上反映其底层概率状态，或与其外在地面真实值对齐。Minderer et al. (2021 (https://arxiv.org/html/2607.03882#bib.bib21))将“校准的不确定性”定义为模型提供的评分反映其预测不确定性的准确度。将其适应到自然语言，Ghafouri et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib8))引入了“认知标定”，定义为模型内在信心与其语言表达信心之间的一致性。Eikema et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib5))提出了一个密切相关的概念“忠实的不确定性”，即模型所传达的决断性与预测不确定性的内在状态相匹配。这些概念主要在短格式LLM输出上进行了评估。对于长格式生成，Band et al. (2024 (https://arxiv.org/html/2607.03882#bib.bib2))提出了“语言标定”，通过确定信心陈述是否允许用户做出校准的概率预测，将标定等同于有用性。  
### 3.3 概率词语化的评估方法  
已经提出了不同的指标来衡量LLM在自然语言中传达预测属性的情况。Jackson et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib13))测量了弃权率，即LLM未能提供数值输入词语化解释的频率，并提供了NLE描述符与相应数值概率之间的映射。Eikema et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib5))定义了概率对冲词，即从不太可能到更可能的单词有序序列，并评估了LLM为这些对冲词分配相关概率的能力。还提出了用于量化解释层面不确定性的补充框架，要么通过提示模型表达自身信心（词语化不确定性），要么通过测量反复采样和模型扰动下输出的变化（探测不确定性）(Harsha et al.,2023 (https://arxiv.org/html/2607.03882#bib.bib10))，以及通过下游有用性的视角评估长格式输出中信心陈述的标定(Band et al.,2024 (https://arxiv.org/html/2607.03882#bib.bib2))。虽然这些方法捕捉了概率词语化的重要维度，但它们通常被孤立地应用，要么评估弃权行为，要么评估概率到对冲词的映射，而不是在受控实验条件下联合评估标定和一致性。更重要的是，这些研究都没有考察LLM作为事后解释器背景下的概率词语化。  
### 3.4 关于LLM与概率语言的经验发现  
几项研究考察了LLM处理概率信息的行为，揭示了系统性的局限性。Ulmer et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib29))发现，模型往往优先考虑帮助性和决断性，而牺牲了不确定性表达，导致对对冲语言（即诸如“有点”或“可能”等软化陈述的词语或短语）的使用有限。Eikema et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib5))发现对冲词汇中存在相当大的不一致性，并提出了忠实不确定性调优（FUT），一种已被证明能改善对冲标定的微调框架。Harsha et al. (2023 (https://arxiv.org/html/2607.03882#bib.bib10))调查了思维链（CoT）解释中的词语化信心，发现LLM无论解释质量如何，都一致报告接近最大的信心，跨任务平均为94%，这强化了关于LLM关于不确定性的语言并不可靠地反映底层信息的担忧。Jackson et al. (2025 (https://arxiv.org/html/2607.03882#bib.bib13))发现，当场景更严重或用户表现出焦虑词汇时，LLM提供概率解释的可能性更低，这表明模型是在回应情感基调而非底层数据。这些发现共同指出了LLM在产生校准的概率信息描述能力方面的关键脆弱性。然而，现有评估通常孤立的考察个体方面，如对冲行为、词语化信心或弃权，且通常在少数模型上或有限的实验变化下进行。一项受控评估，在多种架构、领域背景和生成设置下联合测量标定和一致性，仍然缺失，而这正是本研究的重点。  
## 4 实验设置  
### 4.1 问题陈述  
我们将风险沟通形式化为一个描述符选择任务。我们假设预测由上游AI或统计模型生成，其输出形式为一组概率样本（正如不确定性感知方法如蒙特卡洛Dropout (Gal and Ghahramani,2016 (https://arxiv.org/html/2607.03882#bib.bib6))中常见的那样），从中导出似然度和不确定性估计。给定一个由这些量表征的预测分布，LLM能否可靠地选择准确反映底层数值的词语描述符？我们沿着两个维度进行评估：模型是否对重复查询中的相同输入产生相同描述符（一致性），以及它们的描述符选择是否尊重底层分布的数值顺序（标定）。这两个属性对于LLM作为可靠的风险沟通工具都是必要的，因为不一致损害可信度，而标定不准损害准确性。图1 (https://arxiv.org/html/2607.03882#S4.F1)总结了我们的实验设置。  
![参考说明](https://arxiv.org/html/2607.03882#S4.F1)  
**图1：** 从参数为m（众数）和k（先验样本量）的Beta分布中抽取样本。这些样本随后被插入一个包含领域背景和任务指令的提示中。提示LLM为这些模拟场景的似然度和不确定性选择最佳的NLE描述符，如输入-输出对面板所示。然后评估LLM在实验中的一致性和标定分数。  
### 4.2 任务制定与实验设计  
我们对Beta分布进行采样，以代表不同水平的预测似然度和不确定性，参数化为众数（m）和先验假设样本量（k）。这些与标准Beta形状参数的关系为α=m(k−2)+1且β=(1−m)(k−2)+1。注意当k=2时，Beta退化为(1,1)，即均匀分布。我们选择的m值为0.05, 0.15, 0.25, 0.35, 0.45, 0.55, 0.65, 0.75, 0.85, 0.95，k值为50, 1