教导模型用语言表达其不确定性

# 教导模型用语言表达其不确定性 来源: https://openai.com/index/teaching-models-to-express-their-uncertainty-in-words/ 我们展示了 GPT-3 模型可以学会用自然语言表达对自己答案的不确定性——无需使用模型对数。当给定一个问题时，模型既生成答案，也生成置信水平（例如"90% 置信度"或"高置信度"）。这些水平映射到经过很好校准的概率。该模型在分布偏移下也保持适度的校准，并对其自己答案中的不确定性敏感，而不是模仿人类示例。据我们所知，这是首次证明模型能够用自然语言表达关于自己答案的经过校准的不确定性。为了测试校准，我们引入了 CalibratedMath 任务套件。我们比较了用语言表达的不确定性（"口头概率"）与从模型对数中提取的不确定性的校准。两种不确定性都能够在分布偏移下泛化校准。我们还提供证据表明，GPT-3 泛化校准的能力取决于与其答案上的认识论不确定性相关的预训练潜在表征。