复杂性如何促成机器学习中的学习不透明性

# 复杂性如何导致机器学习中的学习不透明性† 来源：https://arxiv.org/html/2606.24953  
Joachim Stein  
Heidelberger Akademie der Wissenschaften  
Universität Tübingen, 卓越集群：机器学习——科学的新视角  
Eric Raidl  
Universität Tübingen, 卓越集群：机器学习——科学的新视角  
Heidelberger Akademie der Wissenschaften  

###### 摘要  
机器学习（ML）算法以其不透明性著称。我们不知道其预测的原因。导致预测函数的学习过程同样不透明。我们无法完全理解神经网络（NN）权重值的时间演化及相关的动力学现象。虽然预测不透明性已被广泛研究，但学习不透明性在很大程度上仍未得到充分探讨。本文通过复杂动力系统的视角来研究学习不透明性。我们认为，神经网络学习本质上是一个复杂系统，而学习不透明性源于动力学复杂性及其带来的认识论挑战。我们识别出训练复杂性的三个关键属性——对权重初始化的敏感性、基于梯度的优化中的反馈机制，以及对训练数据的敏感性——并展示每个属性如何促成学习不透明性。由于这些属性是学习过程的基础，抑制或消除它们将从根本上改变机器学习系统的学习方式。因此，机器学习中的某些不透明性来源可能是不可约的。

††注：†\dagger 本研究由德国研究基金会（EXC编号2064/1，项目号390727645）和海德堡科学与人文学院WIN项目资助，后者由巴登-符腾堡州科学、研究与艺术部资助。感谢Sarah Bopp、Timo Freiesleben、Miriam Klopotek、Jan-Willem Romeijn及其团队、Hans Rott、Tom Sterkenburg、Max Weinmann、Sebastian Zezulka以及斯图加特SAS25-不确定性会议的与会者提供的有益讨论和反馈。

## 1. 引言  
机器学习，特别是神经网络（NN），是归纳与学习过程的强大自动化形式。给定大量数据，机器学习算法能够学习到可靠的预测函数。111在机器学习研究中，学到的预测函数通常被称为“模型”。然而，为避免与用于表征系统的科学模型混淆，我们将使用术语“预测函数”。  
然而，学到的预测函数以及学习机制本身对我们而言仍然相对难以理解——它们被称为“不透明”的[5 (https://arxiv.org/html/2606.24953#bib.bib188),8 (https://arxiv.org/html/2606.24953#bib.bib124),45 (https://arxiv.org/html/2606.24953#bib.bib119),10 (https://arxiv.org/html/2606.24953#bib.bib187),48 (https://arxiv.org/html/2606.24953#bib.bib118)]。一方面，我们不知道预测函数中编码了哪些现实世界的模式。这被称为预测不透明性。预测不透明性在政策制定[52 (https://arxiv.org/html/2606.24953#bib.bib87)]或科学研究[53 (https://arxiv.org/html/2606.24953#bib.bib90)]等语境中引发了认识论和伦理挑战。克服预测不透明性的需求催生了“可解释人工智能”（XAI）领域[[参见]bordt2025position, molnar2025, DearXAICommu]。该领域的研究人员开发可解释的机器学习方法，并为已有的机器学习方法提供事后解释技术。现有关于XAI的哲学贡献研究了预测不透明性的原因[49 (https://arxiv.org/html/2606.24953#bib.bib148)]，分析了应对方法[10 (https://arxiv.org/html/2606.24953#bib.bib187)]，以及使用不透明神经网络如何改变我们理解科学的方式[5 (https://arxiv.org/html/2606.24953#bib.bib188)]。另一方面，我们不了解神经网络是如何学习的。我们对此的理解是，我们不了解学习过程的动力学及其相关现象。这被称为学习不透明性。学习不透明性也是一个令人困扰的现象：即使是神经网络的设计者，虽然能够完全访问学习过程，也可能不理解网络是如何学习的。这反映在神经网络研究者为解释训练现象（如良性过拟合[2 (https://arxiv.org/html/2606.24953#bib.bib135)]、隐式正则化[41 (https://arxiv.org/html/2606.24953#bib.bib8),7 (https://arxiv.org/html/2606.24953#bib.bib13)]、饱和[14 (https://arxiv.org/html/2606.24953#bib.bib107)]、顿悟[42 (https://arxiv.org/html/2606.24953#bib.bib97)]或稳定性边缘的优化[9 (https://arxiv.org/html/2606.24953#bib.bib20)]）所做的巨大努力上。这些现象相对于优化的正统观点而言是令人惊讶的，理解它们有助于研究者更深入地洞察神经网络优化过程中的特异性。此外，由于预测函数是学习过程的直接产物，阐明学习不透明性很可能也会促进对预测不透明性的分析。理解学习不透明性的来源也是开发应对措施的必要条件，从而使研究者能够加深对神经网络学习过程的理解。这对调试、提高训练效率以及实际部署具有实际意义。然而，与预测不透明性不同，对学习不透明性来源的深入概念分析仍然缺乏。在本文中，我们利用复杂性科学的洞见，对神经网络中的学习不透明性进行概念分析。即使完全访问学习机制也无法解决学习不透明性，这表明它不仅仅是访问受限的问题。相反，学习不透明性可能源于优化启发式方法的更内在属性[[参见]Burrell, Creel_2020, Sullivan_2022]。我们深入探讨这一想法。我们阐明了神经网络学习不透明性的本质，以及复杂性如何成为其主要促成因素。借鉴科学中的复杂性分析，我们识别出复杂动力学的三个特征性属性——对初始条件的敏感依赖性、反馈和上下文敏感性——并展示每个属性如何限制我们对自然科学系统的理解。我们证明这些属性同样存在于神经网络训练中，并考察每个属性如何促成学习不透明性。  
本文结构如下。第2节 (https://arxiv.org/html/2606.24953#S2)概述了神经网络学习过程并讨论了学习不透明性。第3节 (https://arxiv.org/html/2606.24953#S3)介绍了自然科学中的复杂性概念，论证它为我们研究学习不透明性提供了一个概念透镜，并识别出复杂系统的三个核心属性：对初始条件的敏感依赖性、反馈和上下文敏感性。同时介绍了动力学建模——一种理解动力学过程的核心启发式方法。本文其余部分考察这三个属性，它们如何限制研究者对自然复杂系统的理解，以及它们如何促成机器学习中的学习不透明性。第4节 (https://arxiv.org/html/2606.24953#S4)聚焦于对初始条件的敏感依赖性，第5节 (https://arxiv.org/html/2606.24953#S5)聚焦于反馈，第6节 (https://arxiv.org/html/2606.24953#S6)聚焦于上下文敏感性。

## 2. 神经网络  
机器学习（ML）指的是使用计算机算法从数据中学习模式的过程。在这个过程中，研究者向学习算法提供数据，该算法旨在识别一个编码这些模式的函数，从而能够预测未来的观测值，即预测函数。222关于ML理论的介绍，参见[44 (https://arxiv.org/html/2606.24953#bib.bib112)]。[15 (https://arxiv.org/html/2606.24953#bib.bib193)]是NN学习的标准教科书。[46 (https://arxiv.org/html/2606.24953#bib.bib9)]和[47 (https://arxiv.org/html/2606.24953#bib.bib17)]提供了ML基础的哲学讨论。  
本文重点研究监督学习。在监督学习中，数据点 \((x^{(i)}, y^{(i)}) \in \mathcal{X} \times \mathcal{Y}\) 包含一个来自实例空间 \(\mathcal{X}\) 的实例 \(x^{(i)}\)（例如一张动物图片），以及一个来自标签空间 \(\mathcal{Y}\) 的标签 \(y^{(i)}\)（例如动物的名称）。该过程之所以被称为监督学习，是因为学习算法在训练期间可以访问实例的真实标签。预测函数是从一个预定义的函数类 \(f: \mathcal{X} \rightarrow \mathcal{Y}\) 中选择的，这个类称为假设空间。在神经网络学习中，假设空间由神经网络组成。神经网络是一个数学函数，可以表示为图 \((V, E)\)，其中 \(V\) 表示节点集（神经元），\(E\) 表示边集，这些边将信息从一个神经元的输出传递到另一个神经元的输入。本文关注前馈网络，其中的图是有向无环的，所有边指向同一方向且没有循环。因此，前馈神经网络被组织成分层图。神经元的输出信息通过神经元的激活函数 \(\sigma\) 进行变换，该函数起到阈值函数的作用。变换后的信息进一步通过因子 \(w_i: E \rightarrow \mathbb{R}\) 进行加权，该因子决定信息沿给定边从一个神经元传递到下一个神经元的量。向量 \(w\) 包含所有权重因子 \(w_i\)。333本文中我们用 \(w_i\) 表示一个权重变量或其特定值。相应地，\(w\) 可以表示包含变量或标量的向量。\(w_i\) 和 \(w\) 的含义应根据上下文明确。  
一个神经元定义为将激活函数应用于其输入信息的加权和加上一个常数项（偏置）而得到的函数。444为简化讨论，本文忽略偏置项，仅关注神经网络的权重。  
一个特定的神经元值是在给定输入下该函数的输出。神经网络 \(f_w\) 定义为神经元的重复组合。神经元的数量、在网络中的分布以及激活函数由网络的架构指定。架构定义了一组神经网络 \(\{f_w\}\)，它们共享相同的结构属性，但在具体的权重和偏置值上有所不同。这组网络构成了假设空间，即训练过程中可能被选择的预测函数空间。通过指定权重参数可以确定该集合中的具体神经网络。架构是一个超参数。通常，超参数是定义神经网络和学习过程所需要的参数，但既不是权重也不是偏置。学习过程的超参数例如：学习率、批量大小或权重初始化策略。神经网络预测成功与否由损失函数量化：\(\mathcal{L}: \{f_w\} \times (\mathcal{X} \times \mathcal{Y}) \rightarrow \mathbb{R}\)。555常用的损失函数包括0-1损失：\(\mathcal{L}[f_w(x^{(i)}), y^{(i)}] = 1\) 当且仅当 \(f_w(x^{(i)}) \neq y^{(i)}\)，否则为0；以及平方损失：\(\mathcal{L}[f_w(x^{(i)}), y^{(i)}] = (y^{(i)} - f_w(x^{(i)}))^2\)。  
学习过程的目标是找到一个神经网络，能够可靠地预测来自某个实例空间的（未见过的）输入实例的真实标签。为了实现这一目标，神经网络在整个实例空间的有限子集——训练数据——上进行训练。训练过程寻找具有最低经验风险的神经网络，即其预测与训练实例的真实标签平均偏差最小的网络。偏差由所选损失函数度量。为了识别在训练数据上最小化经验风险的神经网络，研究者采用一种学习算法，该算法迭代地更新网络的初始权重，以逐步减小训练数据上的损失。最常见的基于梯度下降的启发式方法。666我们将在第5.1节 (https://arxiv.org/html/2606.24953#S5.SS1) 介绍基于梯度下降的学习启发式方法。  
最后一步是将得到的预测函数在测试集上进行测试，测试集是另一组未包含在训练集中的数据点。如果预测函数在测试集上表现良好，则被接受并通常用于部署。否则，研究者调整超参数并重复训练过程，可能使用修改后的假设空间。

### 2.1. 学习不透明性  
神经网络学习过程的不透明性已被一些作者指出[35 (https://arxiv.org/html/2606.24953#bib.bib92),5 (https://arxiv.org/html/2606.24953#bib.bib188),45 (https://arxiv.org/html/2606.24953#bib.bib119)]。例如，[35 (https://arxiv.org/html/2606.24953#bib.bib92)] 谈到神经网络缺乏“算法透明度”，意指研究者不理解神经网络的“启发式优化程序”（第40页）。[5 (https://arxiv.org/html/2606.24953#bib.bib188)] 识别出一种不透明性，“涉及深度神经网络如何根据数据自动改变其实例化函数”（第59页）。类似地，[45 (https://arxiv.org/html/2606.24953#bib.bib119)] 将“训练不透明性”定义为专家人类在检查时无法说出深度神经网络的参数是如何作为训练数据的结果被诱发的（第225页）。为了将我们的神经网络学习过程不透明性概念与其他概念区分开来，我们称之为学习不透明性。我们认为学习不透明性是指缺乏对学习过程中出现的神经网络权重动力学现象的理解。权重动力学是指训练过程中神经网络权重值的时间演化。为了尽可能保持讨论的广泛性，我们不将学习不透明性的概念限定在“动力学现象”或“理解”的特定含义上。777理解的概念在哲学中已被广泛辩论，没有普遍接受的定义。概述参见[1 (https://arxiv.org/html/2606.24953#bib.bib19),16 (https://arxiv.org/html/2606.24953#bib.bib18)]。  
神经网络权重动力学中的动力学现象可能包括细粒度的行为，如精确权重值的演化，或更粗粒度的行为，如训练收敛速度、达到的最小值类型，或前述的饱和、良性过拟合等现象。通过不固守于单一的理解定义，我们可以说明复杂性对神经网络学习过程动力学现象研究带来的各种认识论挑战，以及这些挑战如何限制理解学习过程的不同方式，从而促成学习不透明性。888[45 (https://arxiv.org/html/2606.24953#bib.bib119)] 进行了类似的工作，讨论了训练不透明性的可能原因。然而，他的工作与我们的在两个方面有重要区别：首先，他仅关注不理解神经网络的参数是如何被其训练数据诱发的，而不是学习过程的一般现象。