一种更优的识别大语言模型过度自信的方法

# 识别过度自信大语言模型的更优方法 来源：https://news.mit.edu/2026/better-method-identifying-overconfident-large-language-models-0319 大语言模型（LLMs）可能会生成看似合理但实际不准确的答案，因此研究人员开发了不确定性量化方法来评估预测的可靠性。一种流行的方法是通过多次输入相同的提示词，观察模型是否生成相同的答案。 但这种方法衡量的是自身置信度（self-confidence），即使是最出色的 LLM 也可能自信地犯错。过度自信会误导用户对其预测准确性的判断，在医疗或金融等高风险场景中可能导致灾难性后果。 为了解决这一缺陷，MIT 的研究人员提出了一种新方法，用于测量另一种类型的不确定性，从而更可靠地识别出“自信但错误”的 LLM 回答。 该方法通过将目标模型的回答与一组相似 LLM 的回答进行比较来实现。他们发现，相较于传统方法，测量跨模型差异能更准确地捕捉此类不确定性。 他们将这种方法与衡量 LLM 自我一致性（self-consistency）的指标相结合，构建了一个总不确定性指标，并在问答、数学推理等 10 个真实任务上进行了评估。该总不确定性指标始终优于其他测量方法，能更有效地识别不可靠的预测结果。 “自我一致性被广泛应用于多种不确定性量化方法中，但如果对不确定性的评估仅依赖单个模型的结果，其可信度并不一定高。我们回归本源，深入理解了当前方法的局限性，并以此为基础设计了一种互补方法，能够从实证层面提升效果。”麻省理工学院电气工程和计算机科学（EECS）研究生、该技术的论文第一作者 Kimia Hamidieh 表示。（论文链接：https://openreview.net/pdf?id=lOoRJo8xWy） 该论文的合著者还包括：MIT-IBM Watson AI Lab 研究科学家 Veronika Thost；曾任 MIT 博士后、现任 Worcester Polytechnic Institute 助理教授 Walter Gerych；MIT-IBM Watson AI Lab 资深研究科学家 Mikhail Yurochkin；以及通讯作者、EECS 副教授兼 Institute of Medical Engineering Sciences 和 Laboratory for Information and Decision Systems 成员 Marzyeh Ghassemi。 **理解过度自信** 许多流行的不确定性量化方法要求模型提供置信度评分，或测试其对同一提示词的回答一致性。这些方法主要用于估算随机不确定性（aleatoric uncertainty），即模型对自身预测的内部确信程度。 然而，LLMs 有时会在完全错误时依然表现得非常自信。研究表明，当模型过度自信时，采用认知不确定性（epistemic uncertainty，即关于“是否使用了正确模型”的疑虑）可能是评估真实不确定性的更好方式。 MIT 研究人员通过测量一组相似 LLMs 之间的意见分歧来估算认知不确定性。 “如果我反复向 ChatGPT 提问同一个问题，它每次都给出相同的答案，这并不意味着答案一定是正确的。如果我转向使用 Claude 或 Gemini 并提出同样的问题，却得到了不同的答案，这种差异就能让我感知到认知不确定性。”Hamidieh 解释道。 认知不确定性旨在衡量目标模型与该任务理想模型之间的偏差。但由于无法构建绝对的理想模型，研究人员通常使用替代方案或近似方法，而这些方法往往依赖于有缺陷的假设。 为了提升不确定性量化的准确性，MIT 研究人员需要一种更准确的方法来估算认知不确定性。 **采用集成方法** 他们开发的方法涉及测量目标模型与一个小型集成模型组（ensemble）之间的分歧。他们发现，比较语义相似度（即回答含义的吻合程度）能够提供对认知不确定性更准确的估计。 为了获得最准确的估计值，研究人员需要一组能够覆盖多样化回答、与目标模型不过于相似，并根据可信度进行加权的 LLMs。 “我们发现，满足所有这些属性的最简单方法是直接采用由不同公司训练的模型。我们尝试了许多更复杂的方法，但最终这个极其简单的方法效果最好。”Hamidieh 说道。 在开发出估算认知不确定性的方法后，他们将其与衡量随机不确定性的标准方法相结合。这一总不确定性指标（TU）能够最准确地反映模型的置信水平是否可信。 “不确定性既取决于给定提示词本身的波动性，也取决于我们的模型与最优模型的接近程度。这就是为什么将这两种不确定性指标相加能得到最佳估算的原因。”Hamidieh 表示。 TU 能更有效地识别 LLM 产生幻觉的场景，因为认知不确定性可以标记出随机不确定性可能忽略的“自信的错误输出”。此外，它还使研究人员能够在训练过程中强化 LLM 那些“自信的正确回答”，从而可能提升模型性能。 他们在问答、文本摘要、翻译和数学推理等 10 项常见任务上，使用多个 LLMs 对 TU 进行了测试。结果表明，该方法比单独使用任一指标都能更有效地识别不可靠的预测。 测量总不确定性通常所需的查询次数少于计算随机不确定性，这有助于降低计算成本并节约能源。 他们的实验还表明，认知不确定性在具有唯一正确答案的任务（如事实性问答）上效果最为显著，但在更开放的开放式任务上表现可能会稍逊一筹。 展望未来，研究人员有望调整该技术以改善其在开放式查询上的表现。他们也可能在此基础上继续深化研究，探索其他形式的随机不确定性。 本研究部分由 MIT-IBM Watson AI Lab 资助。