教人工智能模型说“我不确定”

<p dir="ltr" id="docs-internal-guid-57729c6d-7fff-dea4-bd4a-1d5b0ebbff74">自信具有说服力。但在人工智能系统中，它往往具有误导性。</p><p dir="ltr">当今最强大的推理模型与房间里声音最大的人有一个共同点：无论答案是正确还是猜测，它们都以同样坚定不移的确定性给出每一个答案。麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员现已将这种过度自信追溯到这些模型训练方式中的一个特定缺陷，并开发出了一种无需牺牲准确率即可修复该缺陷的方法。</p><p dir="ltr">这项名为 RLCR（带校准奖励的强化学习，Reinforcement Learning with Calibration Rewards）的技术，训练语言模型在给出答案的同时，产生经过校准的置信度估计。除了想出答案外，模型还会思考其对答案的不确定性，并输出一个置信度分数。在多个基准测试的实验中，RLCR 将校准误差减少了高达 90%，同时在模型训练过的任务以及完全未见过的全新任务上，保持或提高了准确率。这项成果将在本月晚些时候举行的国际机器学习表示会议（International Conference on Learning Representations）上发表。</p><p dir="ltr">这一问题源于一个出奇简单的根源。支撑近期 AI 推理突破的强化学习（RL）方法——包括 OpenAI o1 等系统所使用的训练方法——奖励模型给出正确答案，并惩罚错误答案。中间没有灰色地带。通过仔细推理得出正确答案的模型，与碰巧猜对的模型获得相同的奖励。久而久之，这训练出模型对提出的每个问题都充满自信地回答，无论它们是否有充分的证据，还是实际上只是在掷硬币猜答案。</p><p dir="ltr">这种过度自信是有后果的。当模型部署在医学、法律、金融或任何用户根据 AI 输出做出决策的场景中时，一个无论实际确定性如何都表现出高置信度的系统，会以难以从外部察觉的方式变得不可靠。一个实际上只有一半时间正确，却声称“我有 95% 的把握”的模型，比直接给出错误答案的模型更危险，因为用户没有信号去寻求第二意见。</p><p dir="ltr">“标准的训练方法简单而强大，但它没有给模型任何表达不确定性或说‘我不知道’的动力，”麻省理工学院博士生、论文共同第一作者 Mehul Damani 说道，“因此，当模型不确定时，自然会学会去猜测。”</p><p dir="ltr">RLCR 通过在奖励函数中增加一项来解决这个问题：布雷尔分数（Brier score），这是一种成熟的衡量标准，用于惩罚模型陈述的置信度与实际准确率之间的差距。在训练过程中，模型学习同时推理问题本身及其自身的不确定性，共同产生答案和置信度估计。自信但错误的答案会受到惩罚。不必要地对正确答案表现出不确定性也会受到惩罚。</p><p dir="ltr">数学证明了这一点：研究团队正式证明了这种类型的奖励结构能保证模型既准确又校准良好。随后，他们在一系列问答和数学基准测试上，使用一个 70 亿参数的模型对该方法进行了测试，其中包括模型从未训练过的六个数据集。</p><p dir="ltr">结果显示出了一致的模式。与基础模型相比，标准强化学习训练实际上降低了校准能力，使模型更不擅长估计自身的不确定性。RLCR 扭转了这一效果，在没有任何准确率损失的情况下，大幅改善了校准能力。该方法还优于事后方法，即事后训练一个独立的分类器来分配置信度分数。“引人注目的是，普通的强化学习训练不仅无助于校准，反而对其有害，”麻省理工学院博士生、共同第一作者 Isha Puri 表示，“模型变得能力更强，同时也变得更加过度自信。”</p><p dir="ltr">团队还证明，RLCR 产生的置信度估计在推理阶段具有实际用途。当模型生成多个候选答案时，选择自报告置信度最高的答案，或在多数投票方案中按置信度加权投票，随着计算规模的扩大，既能提高准确率又能改善校准。</p><p dir="ltr">另一项额外发现表明，推理不确定性这一行为本身就有价值。研究人员对模型输出训练了分类器，发现将模型明确的不确定性推理包含在输入中，可以提高分类器的性能，特别是对于较小的模型。模型关于其知道和不知道的事物的自我反思性推理包含真实信息，而不仅仅是装饰。</p><p dir="ltr">除了 Damani 和 Puri 之外，论文的其他作者还包括 Stewart Slocum、Idan Shenfeld、Leshem Choshen 以及高级作者 Jacob Andreas 和 Yoon Kim。</p>