我的新文章《走向智能科学：统一物理学、神经科学与人工智能》已在 @americanacademy 的《Daedalus》期刊发表：https://amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai…
它属于一期关于“AI+科学”的特刊，由 James Manyika 领导，汇集了许多杰出的贡献者：https://amacad.org/daedalus/ai-science-what-is-the-future-of-discovery…

走向智能科学：统一物理学、神经科学与人工智能

来源：https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai

几百万年前，人类智能的最初曙光出现在非洲，并在大约三十万年前我们物种智人的大脑中达到顶峰。我们远古的祖先无疑曾既仰望夜空，沉思物理现实的本性，也内观自省，探究自身精神现实的本质。

上个世纪，我们通过精确的数学定律，深刻理解了支配空间、时间、物质和能量行为的物理现实。但我们才刚刚开始理解我们的精神现实。人类智能和意识是如何从一千亿个神经元和一百万亿个突触中涌现出来的？现代神经科学为攻克这个宏大问题奠定了坚实基础。然而，当涉及到我们自身的心理能力时，我们追求的不仅是理解，更是要在机器中——有时是按照我们自身形象打造的机器中——重现这些能力。本质上，作为进化产物的人类，渴望扮演造物主的角色。这种渴望渗透在文学作品中，从玛丽·雪莱的《弗兰肯斯坦》到艾萨克·阿西莫夫的《我，机器人》皆是如此。

过去十年，人工智能在实现这一渴望方面取得了惊人进展，制造出了具备视觉、语言、推理、想象等能力的高度智能系统。这些能力以一种极其反直觉且隐式的方式，通过在大规模计算集群上，将大型神经网络与海量数据拟合而涌现出来。这类AI系统正蓄势待发，准备改变我们的经济、社会，乃至科学研究的本质。然而，令人相当不安的是，这类AI系统拥有一片巨大而神秘的“表面”，上面既布满了能力，也布满了脆弱性，而对这两者我们几乎没有任何科学理解。因此，当务之急是发展对AI更深刻的科学理解，以确保开发出值得信赖、稳健可靠且符合人类需求的AI系统。

通过物理学、神经科学和人工智能的跨学科综合，我们在推进对智能（涵盖大脑和机器）的科学理解方面，存在着巨大的机遇。首先，物理学已经发展出强大的理论工具，用于分析由数十亿个相互作用粒子组成的复杂系统，这些粒子遵循着复杂多变的动力学定律，这些定律影响着它们的集体行为，并产生令人惊讶的“涌现”特性：这些新特性源于相互作用，但并非单个粒子本身所固有。类似地，神经网络中的学习涉及数十亿个相互作用的权重，由数据驱动的复杂学习动力学，产生了令人惊讶的涌现能力。因此，物理学的思想已经并将继续对AI产生强大影响。其次，神经科学以及相关的心理学和认知科学揭示了人类智能在数据效率、能量效率和鲁棒性等多个方面仍然比AI高出多个数量级的优势。神经科学以这种方式为改进AI提供了灯塔和线索。第三，我们可以将神经科学与物理学结合起来，超越进化，通过进化无法发现的量子硬件来实例化由进化发现的神经计算算法。这催生了受物理学和神经科学综合启发的全新量子神经形态技术。第四，AI可以通过反过来审视我们自身，并利用融合大脑和机器的双向反馈循环，来推进对生物智能和意识的理解。因此，尽管人类智能赋予了人工智能生命，但我们的孩子将成为我们的老师，并将帮助我们洞悉自身精神现实以及物理现实本身的本质。

21世纪的剩余部分将是一场激动人心的智力探险，物理学、神经科学和人工智能将携手合作，相互教导，并共同揭示关于智能的科学。

物理学长期以来一直塑造着人工智能的发展。尽管所谓的“基础物理学”在历史上致力于理解最小亚原子尺度的自然，但凝聚态物理学家菲利普·安德森在他1972年颇具影响力的文章《多即不同》中论证道，同样基础的问题在于理解：在较大尺度上，令人惊讶且反直觉的特性是如何从较小尺度上许多简单元素的相互作用中涌现出来的。^1 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__GC2r9zl-75GeXQpJQEsjT-sCvYr1I8STTkWRGTOR58E_1) 例如，水的“湿润性”是如何从许多H2O分子的相互作用中涌现出来的？为什么金属导电？玻璃是如何同时具备刚性和脆性的？凝聚态物理学领域应运而生，旨在发展出强大的理论工具，来分析由许多相互作用原子组成的复杂物质。

然而，涌现的概念超越了物理学。例如，细胞生命是如何从许多非生命分子的相互作用中涌现出来的？智能是如何从许多非智能神经元的相互作用中涌现出来的？受其在凝聚态物理学中成功的鼓舞，许多物理学家转向了生物学和神经科学。约翰·霍普菲尔德就是这样一位物理学家：1982年，他通过与物理学中的磁自旋系统进行类比，开发了一个突破性的联想记忆模型。^2 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__si1nmrGLE4FOA0IhcLxXpdeHtnW9iEpygQNOwOPPSyc_1) 这个模型解释了神经元网络如何存储新事实，并在只给出部分信息时回忆起这些事实。反过来，霍普菲尔德模型又引出了玻尔兹曼机和深度信念网络，这两者都是现代深度学习的前身。^3 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__J67qXPbssMh-IcNIuxM9SYjB6bji1N7kzjiUBz9xU_1) 由于这一系列的发现，约翰·霍普菲尔德和杰弗里·辛顿共同获得了2024年诺贝尔物理学奖。而这条发现弧线仍在继续：现代的Transformer架构与改进后的霍普菲尔德网络密切相关。^4 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__w3jTECBvpS2xHdgFUItL0eKHyTx45bBOPl49JMRbuSI_1)

复杂系统理论物理学中另一条有影响力的研究路线来自乔治·帕里西（他获得了2021年诺贝尔物理学奖的部分奖项）。帕里西和同事们展示了如何分析包含众多粒子的高维能量景观的几何形状，并描述了粒子如何在这种能量景观几何中运动。^5 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__y5MU-rwIiwsGZ0fR2O9F0Wlf9CeWBSRO6M2Yz4GFE_1) 我们习惯于考虑二维空间上的函数（例如，地球表面上一片真实丘陵地带的高度）。但一个物理系统的能量景观是数十亿粒子位置的函数。类似地，神经网络的损失景观是其数十亿参数值的函数。因此，冷却的物理系统如何随着粒子位置变化而降低其能量，与神经网络如何随着其权重变化而学会降低损失之间，可能存在共同点。事实上，高维景观的几何形状及其内部动力学的某些特征可能表现出普适性。例如，为什么神经网络学习不会像球在崎岖的丘陵地带滚动可能被困在高山谷一样，陷入高误差的局部最小值？关键思想是，在高维度（而非低维度）下，这种高能量（高损失）的极小值在指数层面上是极其罕见的。直观地说，假设你在一个十亿维空间中处于能量或损失的最低点。在所有这十亿维方向上的运动都会上升的概率有多大？答案是非常不可能，除非你已经接近景观的底部。因此，局部极小值通常只出现在接近全局最小值的能量或损失范围内。相反，鞍点大量存在，它们总是提供一条下降的路径（图1）。这种直觉可能在解释为什么神经网络往往能够达到低训练误差方面起着关键作用。^6 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__BV0pssJGqoTjh8dNynQBTCg9HISeU6-FyA-tO8kjxWk_1)

（图1展示了一条蛇形下降的折线图，穿越由极大值、鞍点和极小值组成的场域，极小值出现在底部附近。）

物理思维也在深度学习的近期进展中发挥了关键作用。^7 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__WExDK73EuyU8APz8bLs1kb4FfPlD2SPy46S6jj-AM_1) 例如，扩散模型——如今驱动着生成式AI的许多应用，创造新的图像、文本、蛋白质等等——最初是受尝试违反热力学第二定律的启发。^8 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__pdnojmFmdtnn3sFAuS-5zBjSV1tmC-2K0AMOAIc5wBA_1) 这条定律断言，在封闭系统中，有序的模式压倒性地会演变成无序的模式，从而增加系统的熵（无序度）。扩散模型背后的关键思想是，用一个专门训练来降低熵的神经网络取代物理定律。一旦训练完成，这个神经网络就能像物理定律所不能做到的那样，将无序模式转变为有结构的模式。最近的理论工作甚至能够定量地解释此类模型中创造力的起源。^9 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote__zerAaozl1GukEfBmInzxsJlv-P4zVkHoviy4jqPqzQ_1)

另一个受物理思维指导的有影响力的发现是缩放定律的发现，即性能提升与资源（如网络规模、数据量和训练计算量）之间可预测的幂律关系。^10 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote_0_R4jzkVThVoVHdrQvgmSwwCfpPvWMKTwO7o-GXPZw0_1) 这类缩放定律激发了工业界的想象力，并促成了社会在能源、计算和数据收集方面的重大投资。而针对语言模型数据缩放定律的理论解释直到最近才出现。^11 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote_1_xM-eVOQrELAxMpbRtra7kaVJ7FyTfpiFyEfTshom7ZU_1) 尽管正如我们将在下一节中看到的，应该有可能实现效率高得多的缩放。^12 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote_2_PgBHIIFZ7h1toIL7Vd77s8lsiy4pLAW-HaGbOj-gbc_1)

总之，AI系统从根本上说是大型、复杂的相互作用系统，与许多其他物理系统类似；而物理学的技术已经并将继续在AI的进一步分析和开发中发挥关键作用。特别是，在物理学成功的基础上，我相信我们将能够发展出新的数学思想，用于分析、开发和简化高维空间之间的非线性映射。这种映射在AI中无处不在：例如，语言模型和扩散模型中的输入到输出映射，以及神经学习过程中数据到权重的映射。事实上，神经网络如何学习和计算的许多奥秘，在于我们当前无法理解这种高维空间之间的非线性映射。但物理学在其他背景下理解非线性、随机性和高维之间相互作用的成功，为我们提供了一个肥沃的跳板，以生成一个新的数学框架，用于理解和塑造AI中的高维非线性映射，从而揭开神经网络中学习和计算的神秘面纱，并赋予其力量。

神经科学以及相关的心理学和认知科学，如同诱人的海妖，提醒我们生物智能在数据效率、能量效率和鲁棒性等多个方面仍然比AI高出多个数量级。首先，数据效率：现代大型语言模型（LLM）是在约十万亿量级的词汇上进行训练的。然而，人类只接触到大约一亿个词汇——少了五个数量级。我们需要大约24万年才能读完LLM所读的所有内容。所以，至少在语言体验方面，我们是极其高效的学习者。关于其原因有许多猜想。当然，语言并不是我们唯一的体验。我们还有视觉输入和具身经验。^13 (https://www.amacad.org/publication/daedalus/toward-science-of-intelligence-unifying-physics-neuroscience-ai#footnote_3_YxV8IL-0TKh5QGZe-G13dnmPe1DOf3eG1KPxFcfRZ4o_1) 然而，观看更多场景和物体的视频，如何在仅仅十代人（从牛顿到爱因斯坦）的跨度内，赋予人类集体思维所需的数学和推理能力，以洞察宇宙奥秘并发现像量子力学和广义相对论这样新颖的思想，这一点并不那么清晰。这种非凡的“分布外”泛化能力仍然是人类独有的。

为了理解机器数据效率低下的潜在原因，想象一下我们用训练LLM的同样方式来教育我们的孩子。我们会反复给孩子一个来自互联网的随机句子，然后告诉他们下一个词是什么。仅此而已。没有哪个孩子能通过这种方式有效学习，这使得LLM在看过一万亿个句子后还能学到任何东西显得更加惊人（LLM还会经历额外且重要的后训练）。相反，人类学习是一个多层面、多时间尺度的过程，我们精心安排信息呈现给孩子的顺序。此外，孩子们像科学家一样主动学习，进行实验并选择自己的训练数据。随着年龄增长，我们形成有用的抽象概念，丢弃无用的，并根据新事实一次性修改它们。而且，世世代代以来，我们将最有用的信息通过珍贵的书籍传递下去，向我们的后代指示哪些是值得学习的。要缩小大脑与机器之间这五个数量级的数据差距，很可能需要借鉴这个丰富的人类教学过程的多项要素。我们必须超越机器学习，发展一门新的机器教学科学。

接下来考虑能量效率这个维度。大脑消耗的能量微乎其微：20瓦。作为参考，一个老式白炽灯泡可能消耗100瓦。从某种意义上说，我们所有人都比灯泡暗淡。相比之下，训练一个LLM大致的功耗要高得多……