严谨性在人工智能中的作用

# 严谨性在人工智能中的作用  
来源：https://arxiv.org/html/2607.03634  

Timothy Nguyen¹¹¹作者感谢 Marcus Hutter、Matthew McAteer 和 Tim Scarfe 的宝贵意见与建议。  
Google DeepMind  
[email protected]  

###### 摘要  

人工智能（AI）已展现出非凡的能力，尽管其缺乏成熟学科所具备的许多概念与科学基础。与传统科学不同——在传统科学中，可靠的技术通常源于理论理解——现代 AI 主要通过以性能为导向的迭代和“炼金术”式的实验来推动进步。这种张力促使我们以严谨性为视角，对 AI 进行系统性分析。我们提出了一个三部分框架，包括概念严谨性（厘清基础概念）、认知严谨性（建立科学理解）和操作严谨性（确保可靠性能与部署）。利用这一框架，我们分析了关于智能与理解的不同观念、深度学习中经验方法的优势与局限、基准测试的力量与陷阱，以及现代 AI 系统给理论发展带来的障碍。我们认为，AI 独特的发展轨迹源于不同形式的严谨性在范式间的交互方式，最终导致操作严谨性在现代深度学习中占据主导地位。这一视角有助于解释 AI 的快速发展与其持续存在的不确定性，同时厘清将 AI 转变为成熟科学与可靠技术所面临的挑战。  

严谨的科学使人类能够理解世界并构建可靠的技术。通过提出可检验的假设并发展日益通用的理论，科学逐步减少了不确定性，同时拓宽了解释力。这些进步带来了技术，其可靠性不仅源于经验成功，更源于原理性理解。物理学预测火箭的轨迹，化学模拟药物设计背后的分子相互作用，进化生物学通过自然选择解释物种多样性。现代人工智能（AI）与这一模式截然不同。当前 AI 系统展现出令人瞩目的能力，但对它们如何以及为什么有效，我们的理解却很有限。进步往往更多由大规模实验和基准测试上的表现驱动，而非由解释性理论推动。与此同时，该领域的许多核心术语，如“智能”和“理解”，仍然含糊不清且存在争议。这些差异共同引发了关于如何评估 AI 领域科学进步与概念进步的问题。这促使我们从严谨性的角度审视 AI。这里的“严谨性”指的是在方法及标准上遵循严格规范，以支持领域目标的实现。这包括数学中的公理演绎证明，以及自然科学中严格的实验测试。在 AI 中阐述严谨性的一个天然困难在于该领域是多学科的：它涵盖计算机科学、统计学、工程学、认知科学、神经科学和哲学等多个领域，每个领域都有不同的标准和目标。因此，严谨性不能被视为单一的统一标准，而必须根据其服务的不同功能来理解。区分这些形式的严谨性，为分析 AI 中的各类问题与张力提供了一个连贯的框架。它还有助于理解 AI 历史上进步与范式的独特结构。我们提出 AI 严谨性的三部分划分：概念的、认知的和操作的。²²²另一种关于 AI 严谨性的分析见于 [78 (https://arxiv.org/html/2607.03634#bib.bib26)]，该分析提出了面向负责任的 AI 研究实践的六部分划分。  

概念严谨性涉及基础概念与范式的清晰度。认知严谨性涉及科学知识与理解的建立。操作严谨性涉及系统在实际中的可靠部署与性能。这三种严谨性形式共同涵盖了 AI 中许多突出的问题和抱负。但它们的意义不仅在于提供一个描述性框架：它们在不同范式间以特定方式相互作用，从而塑造了 AI 进步的总体结构以及现代深度学习中性能驱动发展的主导地位。通过识别由此产生的差距和发展不平衡，我们明确了 AI 作为一门科学与技术学科走向成熟所需进一步加强的严谨性。  

## 1 概念严谨性  

概念严谨性涉及清晰且一致的术语表述。这包括使用精确的定义、实质性的描述或说明性的例子来阐明核心概念。这样的精确性能确保术语的正确使用，这是后续发展的前提。此外，概念严谨性还要求清晰地阐述范式：即引入公理性假设和基本方法论的基础框架。范式将术语、公理和方法整合成一个用于提出和评估主张的连贯框架。AI 的发展从其最初阶段就受到了这些概念框架的塑造。其基础思想之一就是通用计算的概念。这一概念最早由查尔斯·巴贝奇（Charles Babbage）和艾达·洛夫莱斯（Ada Lovelace）在 19 世纪通过对分析机（最早的数字化计算机尝试）的分析而构想出来。一个世纪后，艾伦·图灵（Alan Turing）通过通用图灵机形式化地刻画了通用计算，随后又指出机器可能通过学习而非完全依赖显式编程规则来运作，这预示了现代机器学习 [100 (https://arxiv.org/html/2607.03634#bib.bib86)]。这些发展的核心在于一个思想：原则上，一台单一的机器在给定适当编码后可以执行任何可计算的操作。  

基于这些思想，约翰·麦卡锡（John McCarthy）在 1956 年的一次研讨会提案中创造了“人工智能”这一术语，该提案基于“认为学习的每一个方面或智能的任何其他特征原则上都可以被精确地描述，以至于可以制造一台机器来模拟它”这一猜想 [70 (https://arxiv.org/html/2607.03634#bib.bib84)]。该提案进一步设想机器能够使用语言、形成抽象概念、解决问题以及自我改进。鉴于提案旨在争取资助的实用目标，它并未试图定义（人工）智能³³³“人工智能”这个名称被选为“自动机研究”和“复杂信息处理”等其他术语的实际替代品 [31 (https://arxiv.org/html/2607.03634#bib.bib80)]。  

在没有标准定义的情况下，早期的 AI 研究通过以具体能力（如推理、问题解决和语言使用）来操作化智能，每种能力都植根于不同的理论框架。缺乏共同概念意味着进步的判断往往局限于特定的研究计划内部，并且随着时间的推移，随着系统在以往困难任务上取得成功，“智能”的含义也在不断变化。关于智能概念缺乏共识不仅仅是一个语义上的不便。在科学实践中，概念发挥着规范性作用：它们决定哪些现象需要解释、什么构成证据、以及如何衡量进步。如果没有足够清晰的智能特征描述，对 AI 系统的评估就可能在不同任务和研究计划之间变得碎片化，从而破坏累积进步的可能性。因此，实现 AI 的概念严谨性需要一个清晰的智能概念：这不仅仅是有效交流的前提，这种基础性清晰对于领域本身的连贯性至关重要。  

多年来，人们提出了许多智能的定义 [102 (https://arxiv.org/html/2607.03634#bib.bib199), 61 (https://arxiv.org/html/2607.03634#bib.bib260), 22 (https://arxiv.org/html/2607.03634#bib.bib273)]。在 [61 (https://arxiv.org/html/2607.03634#bib.bib260)] 中，收集了来自词典、百科全书、心理学家和 AI 研究者的 70 多种定义以供比较。尽管这些定义有许多共同之处，但期望通过足够努力和综合获得一个普遍定义或许是不现实的。鉴于此，更合理的做法不是提供一个定义，而是基于其常见特征提出一个智能的特征描述：  

智能是一种多方面的属性，由许多因素共同产生，每个因素都在一个谱系上变化，包括  
- • 学习与问题解决  
- • 适应性与技能习得  
- • 目标实现、规划与预测  
- • 知识与理解  
- • 推理与抽象  
- • 资源约束下的效率。  

通过这一特征描述来看，智能不是二元的，而是多个维度的变化。这种多样性有助于解释对前沿 AI 系统相互冲突的看法：判断的差异取决于人们是强调其成就还是局限性。在 [16 (https://arxiv.org/html/2607.03634#bib.bib308)] 中，作者对 GPT-4 大型语言模型（LLM）进行了广泛研究，得出结论：“鉴于 GPT-4 能力的广度和深度，我们认为它可以被合理地视为人工通用智能（AGI）系统的早期（但仍不完整）版本。”更强烈地，杰弗里·辛顿（Geoffrey Hinton）认为当今的大型语言模型是智能的，并且它们理解语言，能够以与人类相同的方式拥有体验 [1 (https://arxiv.org/html/2607.03634#bib.bib109), 99 (https://arxiv.org/html/2607.03634#bib.bib122)]⁴⁴⁴辛顿似乎没有给出智能或理解的明确定义。  

另一方面，扬·勒昆（Yann LeCun）宣称当前的 AI 系统甚至还不如家猫聪明，他指出 AI 系统无法很好地规划或推理，也不理解世界 [108 (https://arxiv.org/html/2607.03634#bib.bib125)]。在 [57 (https://arxiv.org/html/2607.03634#bib.bib309)] 中，该文特别强调智能的效率维度，指出“几乎没有理由期望 LLM 是智能的，因为我们在无休止的基准测试中训练的只是过度参数化的能力。”在这四个案例中，人们考虑的是智能的不同方面：性能、行为、推理和效率。这些相互冲突的评价源于将这些不同方面置于同一个术语之下。如果自然语言中有不同的术语来表示智能\_X，其中 X 表示每个方面，那么辩论将更加精确，冲突也更容易理清。这种假设性的细化说明了概念严谨性在当代 AI 讨论中常常缺乏的一个实践作用：澄清被模糊术语掩盖的区别。  

一个密切相关且同样充满争议的术语是“理解”。关于 AI 系统是否真正理解的争论尤其重要，因为关于智能的论断往往伴随着关于意义和推理的更广泛问题 [74 (https://arxiv.org/html/2607.03634#bib.bib3)]。与智能一样，分歧常常源于对什么构成理解的不同潜在假设。智能的概念在强调哪些特征上有所差异，而对理解的观点则通常在两个维度上有所不同：程度和形式。  

第一个维度，“程度”，强调理解与智能一样，存在于一个谱系上，而非全有或全无的品质。然而，这个谱系的性质在人类与人工系统之间存在显著差异。人类理解通常是平滑累积的，从新手到专家的过程与我们的认知过程一致。相比之下，AI 系统表现出被称为“锯齿形智能”的特征，它们可以展现出超人类的能力，却连最基础的方式也会出错 [26 (https://arxiv.org/html/2607.03634#bib.bib8), 53 (https://arxiv.org/html/2607.03634#bib.bib7)]。它们能够解决研究级别的数学问题，但在最琐碎的算术陈述上却会犯错，例如断言“9.11 > 9.9” [79 (https://arxiv.org/html/2607.03634#bib.bib120)]。它们能说数百种语言，但在简单的语序颠倒下却容易被混淆 [13 (https://arxiv.org/html/2607.03634#bib.bib248)]。与智能一样，尚不清楚理解是否必须是类人的，或者它是否能在应用于人工系统时有其合理的其他实现形式。  

与理解程度的问题并行的，是其形式的问题：什么样的过程、结构或关系构成了真正的理解。我们可以将各种观点总结如下。行为主义主要将理解归因于可观察的行为能力，而非特定的内部机制或表征 [91 (https://arxiv.org/html/2607.03634#bib.bib33)]。相比之下，表征主义和功能主义的方法认为，理解取决于认知系统内部状态的组织及其因果-功能角色 [32 (https://arxiv.org/html/2607.03634#bib.bib113), 86 (https://arxiv.org/html/2607.03634#bib.bib114)]。最后，基于具身性的观点强调，理解不仅取决于内部表征的操作，更取决于这些表征通过与感知、动作或与世界的感觉运动关联而获得语义意义 [38 (https://arxiv.org/html/2607.03634#bib.bib307)]。  

关于当前 AI 系统是否“理解”的分歧，往往反映了对上述哪些标准是必要的不同假设。行为主义取向强调成功的任务表现，而功能主义视角则询问系统是否实现了适当的内部过程（例如，是否发生了某种形式的推理或规划）[12 (https://arxiv.org/html/2607.03634#bib.bib1)]。另一方面，某些表征主义方法认为，真正的理解需要内部世界模型⁵⁵⁵关于当前神经网络是否拥有（部分）世界模型，特别是那些玩棋盘游戏 [63 (https://arxiv.org/html/2607.03634#bib.bib305)] 或生成视频 [81 (https://arxiv.org/html/2607.03634#bib.bib306)] 的网络，仍存在持续的争论。能够支持稳健的抽象和因果推理 [59 (https://arxiv.org/html/2607.03634#bib.bib11), 3 (https://arxiv.org/html/2607.03634#bib.bib104)]，尽管其他人指出 LLM 可能已经通过其内部表征结构拥有了某种形式的意义 [84 (https://arxiv.org/html/2607.03634#bib.bib5)]。最后，基于具身性的观点强调系统需要包括感觉运动模态 [111 (https://arxiv.org/html/2607.03634#bib.bib131)]，或者更一般地说，需要参考语言之外的实体 [11 (https://arxiv.org/html/2607.03634#bib.bib105)]。  

尽管这些立场并非互斥，但关于当前 AI 系统是否理解——与关于智能的争论非常相似——往往更多地由关于理解所需标准的不同哲学假设驱动，而非由经验上的分歧。  

除了厘清个别术语，AI 领域也经历了……