人工智能不确定性的数学

**简而言之：** 人工智能系统常缺乏自我怀疑能力，但概率推理——人类智慧的关键——对于构建能理解自身局限性、稳健可靠的AI至关重要。 ## 不确定性在智能系统中的核心地位 核心观点是：真正的智能（无论是生物还是人工的）本质上都需要处理不确定性的能力。决策作为智能的基石，发生在一个我们对现实的感知总是不完整且未来不可预测的世界中。智能系统必须能够表示、更新并基于自身的不确定性状态来行动，才能做出正确决策。 谷歌DeepMind首席AI科学家、剑桥大学教授祖宾·加拉马尼（Zoubin Ghahramani），在不确定性数学基础上开创了一种新型智能理论，研究已逾三十年。 ## 不确定性的类型 主要讨论两类不确定性： 1. **偶然不确定性（Aleatoric Uncertainty）：** 世界的内在随机性。例如街上行人可能不可预测的转向，如同抛硬币的结果。 2. **认知不确定性（Epistemic Uncertainty）：** 源于遇到新颖或陌生情境——即"长尾事件"。对自动驾驶汽车而言，可能是在冰雹天气中突然有马匹闯入路径，这类训练中从未见过的场景。 AI的关键能力在于具备某种"自我意识"来认知自身的不确定性。当自动驾驶汽车意识到自己处于未知情境时（例如无法确定某个物体是自行车还是马匹），便能采取安全决策，如减速慢行。 从数学角度看，精妙之处在于所有这些不确定性都可以映射为概率。概率论为在这种不确定性下进行更新和推理提供了规则。 ## 与人类认知的关联 这种概率框架与人类认知模型高度契合。我们的感知本质上就存在不确定性。当我们在哥斯达黎加丛林中听到树叶沙沙作响时，会结合感官（声音）和先验信念（此处可能有美洲豹存在）形成概率性推断。 尽管人类在有意识估计概率方面表现糟糕（如卡尼曼和特沃斯基所证明），但我们的潜意识感知系统能高效处理概率推理——这对生存至关重要。即使是婴儿学习，也是由行动与结果关系的隐性信念驱动，认知科学家正是用与AI相同的概率形式方法对此过程建模。 ## 正确性、置信度与对抗攻击 必须区分"正确性"与"置信度"。一个系统可能正确但过度自信，也可能错误但保持适当的不确定性。 图像分类中的著名案例揭示了这种脆弱性：神经网络可能将一张校车图像进行人类肉眼无法察觉的像素微调后，错误且*自信地*将其分类为猎豹、猴子或其他动物。这种"对抗样本"现象表明，AI系统不仅需要准确，还需具备校准良好的置信度。我们不能信任容易受骗或对错误答案表现高置信度的系统。 随着大语言模型（LLMs）的部署，这成为信任问题。LLM可能先给出自信答案，被质疑后又改变说法。真正值得信赖的智能系统必须认识并传达自身的局限性与知识边界。 ## 加拉马尼的AI研究历程 祖宾·加拉马尼的职业生涯提供了历史视角： * **1980年代的革命：** 他于1986年通过暑期研究早期神经网络（"并行分布式处理"）进入AI领域。这是从脆弱的专家系统向灵活的数据驱动学习的革命性转变，吸引了跨学科人才。 * **神经网络早期研究：** 1989年，他完成了关于神经网络在自然语言解析中应用的论文——类似于早期小型语言模型。他曾在Connection Machine等大型并行计算机上工作。 * **转向概率模型：** 1990年代初，随着神经网络与概率/统计关联日益清晰，他转向贝叶斯机器学习与概率模型研究，但始终未完全放弃神经网络。 * **2015年《自然》论文：** 他合著了一篇关键论文，主张精确的概率不确定性表征是智能诸多方面的核心，同期发表的还有其同事杰弗里·辛顿在深度学习与强化学习领域的开创性工作。 ## 概率AI：贝叶斯视角 现代大语言模型本质上是概率模型——预测下一个词元的概率。但缺失的是对不确定性的*显式*表征。在大规模神经网络中，不确定性分散在数十亿神经元激活值中，无法清晰界定。 加拉马尼倡导采用贝叶斯方法。贝叶斯推断是更新信念的规范框架： 1. **先验概率：** 从关于世界的初始信念开始，表现为概率分布（如侦探故事中各嫌疑人的概率）。 2. **新证据：** 观察新数据。 3. **后验概率：** 利用贝叶斯规则更新信念，结合先验与似然度形成新的更新后概率分布。 这个数学上严谨的过程，正是构建能真正理解并传达其已知与未知边界的AI的基础。 **来源：** AI不确定性中的数学原理 - Google DeepMind播客 (https://www.youtube.com/watch?v=tBjgCj_dGZM)